從西北回來之後，左宗棠的身體狀況就越發糟糕了，晚年沒了賢良淑德的愛妻周詒端，又接連失了兩個女兒，再後來連膝下長子也失去了。家庭的變故和幾十年前自己年幼時的情景多麽相像啊：一開始居家十口人，三世同堂，左宗棠作為小兒子很受家人照顧疼愛，隨後不久先是祖母楊氏病故，未幾祖父左人錦也去世了，接著姐姐們陸續出嫁，大哥英年早逝，家中人丁迅速減少，十分冷清。到了左宗棠落戶柳莊之後，兩個夫人，再加上新添的四兒四女，左家香火又旺了起來，一家人也是和和睦睦，其樂融融，隨後周夫人西去，次女孝琪、四女兒孝、長子孝威，相繼先他一步離世，自己長年在外做官、打仗，望著堂前來來回回追逐打鬧的孫子孫女，難免心中少了很多初時的親切貼心，仿佛這些人不是真正的左家人一樣。
此時左宗棠的身體一天比一天壞了，從軍機處被趕出來，到了兩江總督的位子上，左宗棠常常遭遇頭暈眼花的苦惱，他的聽力也已經變得很差了，下屬來匯報軍情、請求指示的時候，都得小心翼翼地扯著嗓子說話。而且，這個時候的左宗棠，依然改不了張嘴罵人的毛病，即便是後來遠征西北的時候給曾國藩寫信化解了隔膜，左宗棠對於曾國藩的偏見也依然沒有隨著時間消逝。他常常對部下說，自己和曾國藩失和，曾國藩要負七八分責任，而自己隻占兩三分責任。每回召集下屬議事，左宗棠都要給這幫可憐的下屬“上課”，而這個課程的內容一直都不曾改變，全都是對曾國藩的指責痛罵。就內容而言，這些話九成以上都是重複的，他也從來不管旁人是否聽得進去。據史料記載，一次，江蘇鄉紳潘季玉因為地方公事前來總督府拜見左宗棠，誰想到還沒等潘氏說上幾句，左宗棠就照例破口大罵起曾國藩來，潘季玉根本無從插嘴，也就隻好這麽聽著，直到差役見時候不早，端茶送客。到了第二天潘季玉再次去拜見左宗棠，但是情況和頭天一樣，他就隻好再次這樣聽著，第二天又這樣過去了。潘季玉心想，可能是老頭子這兩天正在氣頭上吧，於是隔了幾天，再次求見左宗棠，沒想到這次情況依然沒有變，剛坐下不久，左宗棠就開口罵曾國藩，繼而引出了李鴻章，再罵李鴻章，滔滔不絕，潘季玉始終沒能插上嘴，而匯報地方上的事情，也就隨之告吹了。