曾國藩到衡州建湘軍，鹹豐皇帝不太清楚。但江忠源了如指掌，江忠源後來把曾國藩的宏圖大展報告給了中央政府。鹹豐並無不滿，因為當時正是用兵之計。1853年11月，太平天國西征大軍向武漢推進，鹹豐下令要曾國藩率海陸軍增援湖北。
曾國藩懊惱江忠源的大嘴巴，當時水軍剛剛成立，連打魚都困難，何況是打仗。曾國藩對江忠源抱怨說：“我原意是等把水陸兩軍練好後再上報朝廷，你的嘴怎麽就沒把門的，提前透露出去了？”
江忠源回信說：“我說你啊，讀理學讀傻了吧。朱熹說先知後行，但知行應該合一，去戰場練兵要遠比你在操場上練兵進步得快。況且……”江忠源嘲諷道，“皇上隻是讓你去配合正規軍作戰，沒讓你擔當主力，你慌張個什麽勁？”
曾國藩最討厭的就是這句話，不當主力我去幹什麽，正規軍根本就打不了仗，我去配合他們送死嗎？
他當然可以不搭理江忠源，但對鹹豐卻馬虎不得。琢磨了一天，想到了如何搪塞鹹豐。他對鹹豐說：“衡州周邊匪徒有春風吹又生之勢，我若離開，他們和太平軍連成一氣，後果不堪設想啊，所以我不能走。”
不多久，曾國藩又收到鹹豐的聖旨。鹹豐說：“長毛賊在進攻安徽廬州，你即刻帶上你的人入安徽，支援廬州。”曾國藩拿上次的回信複製一回，發了出去。1854年2月，鹹豐的聖旨又來了：“長毛賊進攻黃州，曾國藩你他娘的趕緊帶人去增援。”
曾國藩三次不出兵，不是懦弱，更不是保存實力。他很明白一個道理，太平軍驍勇善戰，名將眾多，沒有一支勁旅絕不能去碰他們。而且和太平軍一決雌雄的戰場是在水上，他的水師還羽毛未豐，絕不能高飛。
他給鹹豐回信說：“衡州乃湖南省之重地，我若離開賊必來，容我剿滅衡州附近土匪後，再出山。”