韓國夫人的死讓高宗非常傷心，高宗感覺自己很無能，無力保護自己深愛的人。他為了紀念韓國夫人，將韓國夫人追封為鄭國夫人。並賜韓國夫人的女兒賀蘭氏為魏國夫人。從此，高宗做事更加顧忌。漸漸地他感覺到自己力不從心，無論從政事上還是生活上，武則天像一個無形的大手，將自己牢牢抓住。這種壓抑的感覺讓高宗身心疲憊，高宗漸漸厭煩這種生活狀態，他想從武則天手中逃脫出來。而此時的武則天大權在握，高宗要想逃脫武則天的控製，就要將她手中的權力削弱一部分。有了這樣的想法，高宗和武則天從一開始恩愛的夫妻、政治上相互輔佐的戀人變成了即將展開決戰的政敵。而這個微妙的變化，是由李義府的貶官開始的。
李義府一直受武則天重用和保護，為武則天和朝廷出了很多力，高宗與武則天是政治同盟，自然也力挺李義府。但隨著高宗和武則天因為權力爭奪產生了裂痕，高宗對李義府的行為是越來越不滿意了。
早期李義府因為逼死畢正義而差點被貶，因為武則天和高宗皇帝聯手，才將李義府保全，李義府為了立功，又積極修改《姓氏錄》，本以為李義府因此而悔過，不料逼死官員的事件再次出現。
李義府曾與李崇德結交，李崇德家庭背景良好，是趙郡李氏，門第之高讓李義府心生羨慕。李崇德為了巴結李義府，主動提出要將李義府的名字寫到自己的族譜上，為李義府提高身份。李義府對李崇德這種做法深感滿意，兩個人關係更是好上加好。可是好景不長，當時頗受高宗皇帝寵愛的杜正倫非常厭惡李義府的小人行徑，經常與李義府爭吵。在一次早朝上，兩人再次發生爭執，幾乎拳腳相加，高宗非常生氣，但是兩個人都是自己提拔起來的人物，高宗最後決定將兩人各打五十大板，貶往地方。李義府一貶官，李崇德就趕忙與李義府劃清界限，生怕因此而受連累，於是，李義府的名字從李崇德的族譜上劃掉了。李義府知道這個事情後，心裏非常痛恨李崇德，一年之後，李義府再度被武則天召回。昔日的仇恨久久不能散去，李義府誣告李崇德，李崇德被下獄，最後死在了獄中。