怎樣才能在方寸之中權衡問題呢？
金陵收複了，可曾國藩與清廷的關係卻變得微妙而緊張起來。那時曾國藩集東南半壁江山軍政大權於一身，湘軍總數已達30萬眾，僅曾國藩直接指揮的軍隊就有12萬之多，這是一支誰也調不動，隻聽命於曾國藩的私人武裝。清政府感到潛在的最大威脅就是手握重兵的曾國藩，於是疏遠冷淡他。曾國藩也感到了顧命大臣功高震主的問題，對自己權位日隆，頻添畏懼心理。湘軍為曾國藩手創，幾乎是他私人的軍隊，旁人是調不動的，而曾國藩隻要一紙調令，就可以千裏赴急。清廷對此久有畏忌之心。現在擺放在他麵前的是兩條路：一是帶著這支軍隊反清，取而代之；二是撤散湘軍，自解兵權。第一條路，他不敢，也不願；那就隻有第二條路可走了。
曾國藩解散湘軍的目的，是為了遠權避禍。但為了做得不露痕跡，他找了一個表麵的理由；湘軍暮氣太重，銳氣全消，已不可用。
同治三年（1864）七月初七，即攻破金陵後20天，曾國藩上《賊酋分別處治粗籌善後事宜折》，提出：“臣統軍太多，即擬裁撤三、四萬人。”七月十三日，遣撤曾國荃部25000人，同日撤蕭慶衍全軍9000人。十月中旬，奏報裁軍2000餘人。到同治五年夏，除水師改編為經製兵長江水師，陸軍尚留下鮑超、劉鬆山萬餘人外，其他曾國藩直屬湘軍先後撤裁完畢。其後，鮑超部亦解散，僅留劉鬆山部奉命援陝，不再隸屬曾國藩。如此幹淨徹底的撤軍，清廷的畏忌心理自然消除。
曾國藩遠權避禍的另一做法是勸曾國荃稱病回鄉。奪取金陵，建不世之功，但曾氏兄弟隨之也成了眾矢之的。郭嵩燾說：“侯相兄弟克複金陵，竟犯天下之大忌，群起而力詆之。”其實，矛盾的焦點人物是曾國荃，群言囂囂，主要是對著他來的。曾國荃為人“傲”，自從帶吉字營出征，戰功累累，但與諸將的矛盾也愈益深刻，如與彭玉麟、楊載福有事相商，往往“聲色俱厲”。諸將極為不滿，又礙於曾國藩情麵，於是不斷出現“告去”的情況。曾國荃再一點就是“貪”。連曾國藩也說他“老饕饕名遍天下”。這個問題不解決，早晚會生出事情。於是曾國藩苦心告誡曾國荃急流勇退，稱病回鄉。