卻說張浚見了李顯忠，聞知符離兵潰，所有軍資器械拋棄殆盡，免不得撫膺太息，乃改命劉寶為鎮江軍都統製，自渡淮入泗州，招撫將士，複退還揚州，上疏自劾。朝右一班主和黨紛紛論浚，孝宗尚不為所動，且賜浚手書道：“今日邊事，倚卿為重，卿不可遂畏人言，朕當與卿全始全終。”浚得此書，乃令魏勝守海州，陳敬守泗州，戚方守濠州，郭振守六合，在淮陰聚水軍，在壽春屯馬軍，大修兩淮戰備。孝宗複召浚子栻（sh ì），入問守禦情形。浚附呈奏折，略言“自古明良交會，必協謀同誌，藉成治功。今臣孤蹤外寄，動輒掣肘，陛下亦無所用臣，臣願乞骸骨歸裏”等語。孝宗覽奏，顧語栻道：“朕信任魏公，不當令退。”既而和議複興，湯思退複入為醴泉觀使，右正言尹穡遂附思退劾浚。孝宗亦未免動疑，竟降授浚為特進樞密使，宣撫江淮東西路，貶顯忠為果州團練副使，安置潭州。邵宏淵雖降官階，仍任建康都統製。貶李顯忠，仍任邵宏淵，以此為明，誰其信之？參知政事辛次膺，前因力阻和議，觸忤秦檜，落職至二十年，自孝宗召入樞密，尋擢參政，至是劾論湯思退，情願免官，遂罷為奉祠。思退竟進任尚書右仆射，兼樞密使。
思退當然主和，去一史浩，複來一湯思退，如何恢複中原？獨陳俊卿上疏抗章，謂和議必不可成，張浚仍當複用。孝宗乃仍令浚都督江淮軍馬。未幾，複得金帥紇石烈誌寧來書，大旨仍如前言。思退勸孝宗和金，參政趙葵亦附思退議。工部侍郎張闡奮進道：“敵來議和，畏我呢，愛我呢？恐怕是款我呢！臣意謂決不當和。”恰是個硬頭子。孝宗道：“朕意也是如此。且隨宜應付，再作計較。”乃遣盧仲賢如金師，齎交覆書。仲賢陛辭，孝宗諭以海、泗、唐、鄧諸州，不宜輕許。仲賢應命而出。偏湯思退佇待朝堂，私語仲賢道：“如果可和，四州亦不妨許金。”必欲割地，是何用意？