韓瑗和來濟這一被貶，他們原來所擔任的中央領導職位就空出來了。誰去接替呢？許敬宗。禮部尚書許敬宗被提升為侍中，兼任度支尚書（即戶部尚書），以度支尚書杜正倫兼中書令。武則天的另一個心腹李義府，在此之前已經當了中書令。這兩個人都進入了宰相集團。唐朝的中央政府實行程序分工，中書省負責起草詔書，門下省負責審核詔書，一個文件，隻有經過中書省、門下省兩個程序，才能真正成為敕旨，形成一個“紅頭文件”。武則天任用這兩人，那可是司馬昭之心，路人皆知——她想讓她的政令暢通無阻。這兩人肯定會為武則天賣命，因為他們是武則天的心腹和親信，也是武則天對付敵人強有力的武器。
在李治的恩寵下，兩人有些無法無天，特別是李義府，尾巴都翹到天上去了，不停地惹是生非。
按說，他這樣的高官是不缺女人的，可他偏偏看中了一個有特殊身份的神秘女人——女犯人。
顯慶元年（656年）八月，李義府有一次視察監獄，看上了一個姓淳於的女犯人，竟然指使大理寺丞畢正義把她放出來，自己納之為妾。
這簡直就是色膽包天！大理寺卿段寶玄得知後，立即將此事奏報李治，李治隨即安排給事中劉仁軌（後來也是一位出將入相的大唐名人）調查此案。李義府深知劉仁軌是個正直而無私的人，幹脆設法逼死了那個幫他放人的大理寺丞畢正義。
大理寺丞一自殺，可就是人命案了，還是一名朝廷官員。然而，秉公辦案的劉仁軌卻沒有證據，拿他沒轍。
李治本來想原諒他，不想追究，但是青天白日，朗朗乾坤，豈能人人都這麽沒有良知？禦史王義方看不下去了。他回家稟報母親，說現在朝廷裏出了這麽一件事，而我是一個監察官員，如果不管呢，良心不安；如果管了，又怕皇上怪罪，連累母親。他的母親深明大義，對他說：自古忠孝不兩全，你既然當了這個官，就要舍孝全忠，報效國家。另外，你這樣做，還可以成就一生的大名。如果你因此獲罪，我死而無恨！王義方受了母親一番鼓舞，馬上上書朝廷，要求嚴懲李義府，還死者一個公道。