鹹豐二年（1852年）十二月十七日，曾國藩和郭嵩燾一起從老家出發，趕往省城長沙。在到達湘鄉縣城時，接到湖南巡撫張亮基征調湘鄉練勇一千名赴省城的劄令。於是湘鄉練勇跟隨曾國藩前往長沙，湘鄉的羅澤南、劉蓉、朱孫詒等人也隨著曾國藩而去。正是這些練勇成為了曾國藩初辦團練的班底。
五日之後，曾國藩率眾人來到長沙。巡撫張亮基率一行官員江忠源、左宗棠及嶽麓書院的同學們，列隊迎接曾國藩一行的到來。大家見麵相互客套恭維了一陣之後，便開始議事。而作為文員的曾國藩從此便開始了他的軍旅生涯。
在接下來的宴會上，巡撫張亮基帶一班官員和曾國藩等人相互敬酒，一番交流之後，張亮基有些激動，他站起身來握住曾國藩的手說道：“今後湖南保境安民的一切，都拜仁兄，仗大才經緯。仁兄對湖南的摯愛、對小弟的摯愛，望施補天之術，使三湖之士早得安寧！”這句話讓曾國藩感激至深，也大大鼓舞了曾國藩練兵的決心。雖然這番話使曾國藩渾身充滿了力量，但同時他也感覺到自己身上的擔子更加重了。
次日，曾國藩便奏請皇帝，告訴皇帝他的想法：在長沙組建一支勁旅，以此來消滅造反的太平軍。沒幾日便傳來了鹹豐帝的手諭：“悉心辦理，以資防剿。”得到皇帝的同意之後，曾國藩便按照心中所想，漸漸籌劃著這支勁旅。他把帶來的一千名團丁編為兩營，羅澤南帶一營，王帶一營。然後，他又從這兩營中選出精兵八十名，組成親兵隊，交給曾國葆帶領。接著，他在巡撫衙門附近，又新開了一個衙門，命名為“湖南審案局”，負責人是江蘇候補知州黃廷瓚。
對於剛來長沙的曾國藩來說，對未來是一臉茫然，雖然他上報皇帝要成立一支勁旅，消滅太平軍，可是說來容易，做起來難。一介文官的他對兵場上的事一竅不通，更何況朝廷也沒有給予他任何經濟上的支持，全憑曾國藩自己白手起家。再說皇帝這邊，他的意思就是讓曾國藩在長沙幫辦湖南團練事務，並不是讓他成立正規軍隊。也就是說，讓他幫著維持地方治安，關鍵的時候可以鎮壓地方的小暴動。