翁同龢這裏絞盡腦汁，欲拿掉李鴻章而不能，李鴻章卻氣定神閑，每天安居賢良寺，寫寫字，讀讀書，倒也自在。見風使舵者自然不會理睬失勢人，倒是門生故吏仍念舊情，環繞不去。比如畢德格，李鴻章失勢離津後，他悵然若失，美國政府讓他返任駐津領事，也不接受，追到北京，重歸舊主身邊，繼續給他讀西書。且拒領工資，理由有些奇怪，說並非相國需要他，是他沒法離開相國，若想賺錢，可給美國公使館筆譯資料，換取潤筆。又如於式枚，因非翁門弟子，回任兵部後，不受待見，無所事事，一時又沒地方可去，也常往賢良寺跑，來守恩師。再如直隸懷來縣令吳永，本係李鴻章舊屬，又是曾紀澤女婿，即曾國藩孫婿，一向敬重李鴻章，亦常來常往，陪侍左右。
這日清閑，幾位來到李鴻章住地，一起聽畢德格讀西書。聽上個把時辰，畢德格讀累，幾位你一言我一語，閑聊起來。聊到翁同龢不擇手段，落井下石，一個個咬牙切齒，李鴻章卻笑道：“心底無私天地寬。老夫為大清興洋務，固海防，辦外交，皆出於公心，翁同龢公報私仇，盡人皆知，還怕他把老夫撕爛嚼碎，咽進肚裏？”吳永道：“相國無懼無畏，可翁同龢占據大位，不圖振奮，隻思報私怨，泄私憤，看著大清繼續沉淪，亡國亡種，為期不遠矣。”於式枚道：“翁同龢除會幾句古文，別無所長，不做點小動作，如何打發日子？”吳永道：“也怪皇上少不更事，忠奸不辨，賢愚不識，才倚翁同龢為幹城，壞國家大事。若換相國當國，又何至於此？”於式枚道：“皇上聽信翁師傅唆使，恨死相國，哪會讓相國當國？”
李鴻章擺擺手，道：“功計於預定而上不行，過出於難言而人不諒，讓老夫當國，也當不好。”吳永道：“相國賢明睿智，練達老成，皇上若明白事理，真由您當國，大清情形將大不同。”李鴻章歎道：“國體如此，誰都無回天之力。老夫雖沒入朝當國，卻經辦洋務海防數十年，如今想來不過勉強塗飾，虛有其表，不揭破猶可敷衍一時，久之必漏洞百出。如一間破屋，由裱糊匠東補西貼，居然成一淨室，小小風雨，打出幾個窟窿，隨時補葺，尚可支吾對付。若被爽手扯破，又無上等修葺材料，良好改造方式，難免真相破露，不可收拾。”