卻說張浚鎮守關、陝三年，因劉子羽及吳玠兄弟讚襄軍務，雖未能規複關、陝，但全蜀賴以安堵；且以形勢牽製東南，江淮亦少紓敵患。自呂頤浩入相後，與張浚雖無宿嫌，恰也不甚嘉許，更有參政秦檜，陰主和議，當然是反對張浚。檜平居嚐大言道：“我有二策，可安撫天下。”及問他何策，他又言：“未登相位，說亦無益。”高宗還道他果有奇謀，即拜為尚書右仆射。檜乃入陳二策，看官道是何計？他說是：“將河北人還金，中原人還劉豫。”這等計策，卻是言人所不敢言。高宗此時還有些明白，卻駁斥道：“檜言南人歸南，北人歸北，朕係北人，當歸何處？”檜無詞可對，複易說以進道：“周宣王內修外攘，所以中興，今二相一同居內，如何對外？”此語是排擠呂頤浩。高宗乃命頤浩治外，秦檜治內。頤浩請高宗移趨臨安，自至鎮江開府，都督江、淮、荊、浙諸軍事。高宗準如所請，移蹕臨安。會召胡安國為中書舍人，兼官侍讀，專講《春秋》。秦檜欲延攬名士，布列清要，藉作揄揚。既見安國入用，遂與他虛心論交。安國為所籠絡，竟極力稱檜，說他人品學術在張浚諸人上。高宗亦頗信用。
會頤浩奉詔還臨安，薦朱勝非代任都督，高宗遂起用勝非。安國劾勝非附和汪、黃，尊視張邦昌，及苗、劉肆逆，又貪生畏死，辱及君父，此人豈可再用？高宗乃收回成命，改任勝非為侍讀。安國複持詔不下。頤浩特命檢正黃龜年另行草詔，頒示行闕。安國遂托疾求去。頤浩勸高宗降旨譴責安國，將他落職，隻命提舉仙都觀。秦檜三上章，乞留安國，均不見報。侍禦史江躋、左司諫吳表臣等二十餘人上言勝非不可用，安國不當責，均坐檜黨落職，台省為之一空。顧浩又暗使侍禦史黃龜年等，劾秦檜專主和議，阻撓恢複遠圖，且植黨專權，罪應黜逐，乃罷檜相，榜示朝堂，永不複用。遂進朱勝非為右仆射，兼知樞密院事。勝非本與張浚有宿憾，因日言浚短，高宗乃遣王似為川陝宣撫處置副使，名為輔浚，實是監浚。浚始不安於位，上疏辭職，且言似不勝任。看官你想呂、朱兩相，左牽右掣，哪裏容得住張德遠？浚字德遠。當下召浚至臨安，但說要他入任樞密。及浚既奉命南還，即由中丞辛炳、侍禦史常同等，劾浚喪師失地、跋扈不臣諸罪。竟將浚落職，奉祠居住福州，並安置劉子羽於白州。張浚已枉，子羽尤枉。擢王似為宣撫使，盧法原為副使，與吳玠並鎮川陝。既而辛炳、常同又迭論頤浩過失，於是頤浩亦罷為鎮南節度使，提舉洞霄宮。命趙鼎參知政事。且授劉光世為江東、淮西宣撫使，屯兵池州；韓世忠為淮南東路宣撫使，屯兵鎮江；王燮為荊湖製置使，屯兵鄂州；嶽飛為江西南路製置使，屯兵江州。