初辦團練便遭遇失敗的曾國藩並沒因此而放棄，這一次的失敗對他而言隻是一次磨煉，但更是一次激勵。從此時開始，他便發誓一定要練成一支自己的軍隊，一支真正的勇軍。
曾國藩選擇衡州的原因有三，一是因為他的祖籍是這裏（衡陽），可謂第二故鄉；二是曾國藩的妻子歐陽氏的娘家也在這裏，相比來說親友多；三是由於衡州北臨南嶽衡山，屬水陸要衝，是兵家的必爭之地。
由於有了第一次的教訓，來到衡州的曾國藩首先想到的是與地方官員搞好關係。當時擔任衡州知府的陸傳應早早就接到了巡撫的劄文，開城相迎。陸傳應位居四品，比曾國藩低五級，但曾國藩卻對他禮貌有加，左一句兄右一句弟，讓陸知府心裏十分高興。
陸傳應答應把團練大臣的“署衙”設在小西門演武場。這個場子很大，是當年吳三桂“稱帝”時開辟的。“署衙”有了，但是取什麽名字呢？曾國藩前思後想，為了小心謹慎他仍然用以前在長沙用的“湖南審案局”。人員不變，招牌不變，可是曾國藩的思想卻發生了翻天覆地的變化。他不再像以前那樣僅僅維護地方治安，也不再做一名人人唾棄的劊子手了，他要練一支勁旅，由他親自掛帥，掃平太平軍，成就一番大業。
曾國藩把隨身帶來的千餘名團勇安置好之後，覺得自己需要一些交心而有才的將領，他便想起了郭嵩燾、劉蓉、李元度、陳士傑等人。於是，曾國藩馬上寫信讓他們前來相助，共成大事，立大業。收到信的郭嵩燾正在湘陰籌備練勇的資金，得信後並沒急於趕到曾國藩處，而是等資金籌備得差不多時才去；劉蓉在曾國藩的眼裏是諸葛亮一般的人物，缺他不可，因此他在信中對劉蓉說，無論如何一定要前來相助。而其餘幾人也是被曾國藩視為知己或得意的弟子。