卻說太子愭歿後，慶王愷依次當立，孝宗因第三子惇英武類己，竟越次立為太子。孝宗自己亦未見若何英武，所以子更不逮，後且為悍妻所製。惟進封愷為魏王，判寧國府，命宰執設餞玉津園。宴畢，送愷登車。愷顧語虞允文道：“還望相公保全！”允文當然勸慰。愷乃挈眷而去。既而吳太後妹夫張說攀援親屬，竟擢為簽書樞密院事。詔命下後，朝議大嘩。左司員外郎兼侍講張栻遂上疏切諫，且詣朝堂責虞允文道：“宦官執政，自京、黼始。近習執政，自相公始。”允文不禁慚憤，入白孝宗，孝宗乃收回成命。至乾道八年，改左右仆射為左右丞相。左相仍屬虞允文，右相任用梁克家，嗣複出張栻知袁州，仍命張說入樞密院。侍禦史李衡、右正言王希呂又上書諫阻，直學士院周必大不肯擬詔，給事中莫濟封還錄黃，孝宗將他四人一齊罷免，都人士稱為四賢。虞允文因諫院乏人，特薦用李彥穎、林光朝、王質三人，孝宗不報，獨用幸臣曾覿所薦的人員，於是允文力求去位，孝宗竟調他宣撫四川，但進封雍國公。允文蒞任逾年，即疾終任所，詔贈太傅，賜諡忠肅。他本隆州仁壽縣人，夙具智略，采石一戰，遂得成名。入相後，遇事納忠，知無不言，也是一位救時良相。梁克家外和內剛，自允文去後，獨相數月，旋與張說論及外交，語多未合，亦乞外調，遂出知建寧府。說好為欺罔，漸被孝宗察覺，才加罷斥。
乾道八年殘臘，又擬改元。越日元旦，改為淳熙元年，左相虛位不設，右相亦屢有變更。曾懷、葉衡等忽進忽退，多半是庸庸碌碌，沒甚建樹。葉衡且薦舉左司諫湯邦彥為金國申議使。邦彥至金，為金所拒，旬餘乃得引見，兩旁列著衛士，統是控弦露刃，耀武揚威，嚇得邦彥心驚膽戰，一語都不能發，竟匆匆辭歸。孝宗恨他辱命，流戍新州。自是申請陵寢的朝議，乃不再提及了。徒向他人乞憐，究竟無益。是年冬季，立貴妃謝氏為後。後本丹陽人氏，幼年喪父，寄養翟氏，因冒姓為翟。及長，頗有容色，入宮侍吳太後。太後轉賜孝宗，封為婉容，越年晉封貴妃。淳熙三年，孝宗挈妃至德壽宮謁見上皇，上皇見她端肅恭謹，因謂可繼位中宮。孝宗仰承親命，乃立貴妃為後，複姓謝氏。孝宗不喜漁色，宮闈裏麵除謝後外，隻有蔡、李兩妃，此外不載史乘，小子據實敘明，不必多表。