和王錱是明爭，和江忠源則是暗鬥。江忠源是自太平軍造反以來，戰場上最清醒最幹練的將軍，受到清政府一個接一個的大獎，所以曾國藩當初才打起為江忠源練兵的旗號跑到衡州。
也許不僅是為了迷惑清政府和江忠源，曾國藩當時真就發自良知。他信誓旦旦地向江忠源保證，我去衡州練兵就是為了給你作為“掃**天下之具”的。江忠源至為感動，對曾國藩表露心跡：我江忠源能光耀門庭，就全靠兄弟你了。
很快，江忠源就在現實中發現曾國藩靠不住。1853年秋，江忠源在江西九江一帶抵抗太平軍，他的楚勇兵力不足，所以去信曾國藩問，有沒有新出爐的士兵，趕緊搞點來給我用。
曾國藩連鹹豐的聖旨都敢不遵，區區個江忠源算個啥。他回信給江忠源，士兵還是半成品，不能立即出爐，你少安勿躁。江忠源並未生氣，因為他知道曾國藩做事很慢，所以就調了雲貴、湖廣的綠營兵六千，與自己的楚勇合成一萬，艱難抵抗太平軍。
曾國藩得知江忠源調集綠營兵後，去信揶揄道：“綠營兵紀律敗壞，怎麽能打仗，您要三思啊。”
江忠源夾槍帶棒地回信道：“我倒是想用你的兵，可你太慢了。”
曾國藩發現了江忠源的不滿，慌忙回信道：“你不要著急，我已訓練出三千士兵，再訓練六千，就雙手呈送閣下做建功立業的工具。”
江忠源突然發現曾國藩在和他玩太極，由於前線吃緊，所以沒空和曾國藩糾結。但曾國藩卻對他窮追猛打起來，曾國藩對湖南巡撫駱秉章與新任湖廣總督吳文鎔說，江忠源的楚勇成事不足敗事有餘，我聽說他們常常騷擾百姓，進駐一地後的頭等事就是搶劫。政府正規軍不可用，楚勇也欠精練。
吳文鎔是曾國藩舉薦上來的，同時還是曾國藩的師長，所以自然不自然地就偏袒曾國藩。駱秉章對曾國藩雖成見漸小，卻站在公理之上，對曾國藩冷嘲熱諷：“正規軍不成，楚勇欠精練，我聽你的意思隻有你的湘軍才是天下唯一的精兵。但我怎麽就沒看你們湘軍有一人在戰場上？”