顯慶四年（659）四月二十二日，李治的判決下來了：罷免長孫無忌所有官職和封邑，改封揚州都督，立即前往黔州安置，按照一品官發放俸祿！
做揚州的官，卻到黔州生活，一切都是掩人耳目。
長孫無忌的倒台，預示著這幫人即將跌到人生的最低穀。
許敬宗趁熱打鐵：“長孫無忌圖謀叛逆，韓瑗、柳奭、褚遂良等人都脫不了幹係，據臣調查，柳奭還在和宮內的同黨相互勾結，圖謀毒害陛下，於誌寧也在暗中和長孫無忌聯係，希望陛下能夠及時處置！”
數日之後，李治下詔：
剝奪褚遂良的所有官職和爵位，流放褚遂良的兒子褚彥甫、褚彥仲到愛州。
韓瑗、柳奭等人削籍為民。
剝奪駙馬都尉長孫衝等人的官職，發配到嶺南。
貶太子太師、同中書門下三品於誌寧為榮州刺史。
顯慶四年（659）七月二十七日，李治突然發布了一道詔書：命許敬宗、李世、辛茂將、任雅相、盧承慶等人調查長孫無忌謀反一事。
難道，李治良心發現，想要給舅舅翻案？
不，這一道聖旨，其實是假借調查一事，徹底坐實長孫無忌等人的罪名，堵住天下悠悠之口，以絕後患。
調查團裏，許敬宗是主事的，其他人都是掩人耳目的陪襯。
中書舍人袁公瑜，前往黔州逼迫長孫無忌自殺。象州使者直截了當，宣布完聖旨後，便將柳奭斬殺。韓瑗已經提前被謀殺，使者隻好開館驗屍，拿著報告回去向朝廷複命！為了鏟除後患，武則天將他們的子孫全部發配到嶺南為奴。
長孫無忌是不是真的想要謀反，已經不重要了。長孫無忌誅殺朝廷功臣，惡意牽連吳王李恪等人是事實，不歸還李治的皇權是事實。這樣一個貪戀權力的大臣，是絕對不會被容忍的。
長孫無忌倒下了，倒在了一個新舊貴族交替的時代。