武後越來越明白朝廷勢力的威力，要想坐穩後位，需要有人支持自己才行。王皇後那樣強大的政治背景依然落得這樣的下場，可見權力的鬥爭需要有堅實的基礎。武後經過這次巨大的政治風波，內心更加堅定要在朝廷埋下屬於自己的種子，等他們生根發芽為自己蒙蔭。
李義府、許敬宗等人的勢力已經穩步發展，武後開始將長孫無忌等關隴集團的人作為打擊目標，她采取打擊懲罰長孫無忌的左膀右臂，再對他徹底殲滅的策略。時隔一年，韓瑗希望褚遂良可以再調回中央任職，於是他上書高宗，希望高宗念及往日功勞苦勞，將褚遂良召回。褚遂良的回歸勢必會阻礙武後前進的步伐，而此時武後又在打壓關隴集團的人物，韓瑗等人更是焦急，迫切希望褚遂良盡快回到隊伍中來。韓瑗帶著這樣迫切的想法，向高宗皇帝上書，言辭激烈，希望高宗皇帝意識到自己的問題，將褚遂良召回來。這份言辭激烈的上書，讓高宗皇帝勃然大怒，他覺得自己的權威受到了挑戰。韓瑗說：“如今臣深懼小人之勢長，君子之道消矣。”——《武則天》。韓瑗引用了詩經上的一句話，將武後比喻成周朝亡國的褒姒，高宗聽了更加憤怒，他讓人把韓瑗拉下去，褚遂良回朝廷的事就這樣以失敗告終。
韓瑗看事已至此，心涼了半截，他主動提出辭官。但高宗皇帝卻不許，與此同時，又將已貶的褚遂良再次貶往更遠的桂州。褚遂良被貶官不久，武後派的李義府就被升官為中書令。一提升一貶官，對比非常鮮明。就在李義府被升官之後的幾個月，李義府就上書高宗皇帝，稱韓瑗與褚遂良密謀不軌。韓瑗與褚遂良就這樣被流放到更遠的地方，關隴集團又失去一個重要人物。
此時的長孫無忌隻能明哲保身，他知道自己大勢已去，於是選擇沉默，希望能平安度日。長孫無忌知道李治宅心仁厚，不會對自己痛下殺手，所以隻要自己不公開與武後抗衡，便能息事寧人。