現在，我們把曾國藩和他的戰友們在衡州建立的這支新軍稱為湘軍，意為湖南人的軍隊。陸軍建設，之前有“大團”的創建經驗，還算容易，難的是水軍。
曾國藩到衡州打了兩個旗號，一是剿匪，二是為江忠源練軍。這兩個旗號也非純是幌子，比如剿匪，湘軍的陸軍多次在衡州周邊和小股叛**火，成績不俗。再比如為江忠源練軍，曾國藩也的確和江忠源進行著頻繁的溝通，事無巨細。他所以要下決心創建水軍，也是和江忠源多次溝通的結果。
江忠源是太平軍叛亂初期和太平軍打交道最多也最紮實的清朝將領，在多次的交鋒中，江忠源發現，太平軍在江南的勢如破竹很多時候都得益於陸軍和水軍的親密協作。他們往往利用長江下遊水鄉澤國的地理形勢，水陸並進，唇齒相依，行動迅捷，攻守自如。
江忠源去信曾國藩說：“長毛賊如今占據了沿江的南京、鎮江、安慶等戰略要地，三麵陸地，一麵臨江，我軍雖全力進攻，長毛賊卻能輕易化解。因為他們能海陸救護以牽製我們的兵力，搞得我們總是焦頭爛額，有力使不上。要想收複長毛賊占據的沿江城市，必須先拿到製江權，要想拿到製江權，必須幹掉敵船，要想幹掉敵船，你想想，咱們該怎麽辦？”
曾國藩回信：“建一支水軍！”
這話說起來容易，做起來太難。曾國藩和他的戰友們都是旱鴨子，雖然生活在南方，但大多數時間都讀書了，連船的大致構造都搞不明白。這就隻能在一窮二白的情況下白手起家。
1853年10月，曾國藩在衡州找了個池塘建立船廠，開始製造戰船。他把湖南全省數得上的能工巧匠都請到衡州，大家召開特大型會議，探討建船。會議聽取了曾國藩關於建立世界第一水軍的報告。報告結束後，工匠們各抒己見。有的工匠誠實回答，船身上精美的雕飾他天下無二，但造船不會。還有的工匠臨時抱佛腳翻魯班遺書，其餘的工匠覺得這是政府工程，應該能大賺一筆，所以勸曾國藩別建戰船，因為他們最擅長造戰車。