曾國藩痛恨綠營軍的腐敗，並且他深知綠營兵的壞習氣已經到了無可救藥的地步。因為他們從根源處就已經壞了，無法再相救，而靠這種兵永遠也打不了勝仗。他說：“居今之世，用今之兵，雖諸葛複起未必能滅此賊。”曾國藩此次練兵，就是想成立一支和綠營兵截然相反的新軍，那就是曾國藩所說的一支勁旅，一支在戰場上無所畏懼、所向披靡的軍隊。
對曾國藩而言，如果不是在長沙時受到排擠和激發，他也不會想到練出一支自己親自指揮的軍隊。這到底是怎樣的一支軍隊，他也不知道，但一定要比綠營兵出色。至於到底如何出色他也沒底，八旗和綠營雖是正規軍，但均腐敗無能，地方團練勢力弱小更不能對付太平軍。沒有好的榜樣可以學習，顯然凡事他隻能靠自己的摸索。
曾國藩就是在一邊實踐一邊摸索中練就了一支勇猛的湘軍的。鹹豐三年（1853年）夏，當時的太平軍已進攻南昌，負責和太平軍交戰的是江忠源。由於勢力單薄，江忠源便寫信給曾國藩，讓他派軍隊前去援助。而曾國藩也想試試自己一手編練的湘軍在戰場上的威力到底如何，於是他便派羅澤南、朱孫貽、金鬆齡率領三千多人趕往前線進行增援。不久就傳來了讓曾國藩異常高興的消息：派去的各營均有戰功，殺敵無數。初戰告捷讓曾國藩沾沾自喜，但一會工夫又傳來了讓曾國藩非常惱火的消息：羅澤南帶領的一營中了敵人的埋伏，有幾十人傷亡，其中包括羅澤南的幾位得力戰將。對此，曾國藩有些不解，按說有後麵的部隊進行援救，不應該有如此大的傷亡。部隊都撤回之後，曾國藩開始詳細調查，最後他得知一重大情況：當羅澤南遭到敵人伏擊時，以金鬆齡為首的後麵部隊看到此情景，不但沒上前相救反而趁機逃脫，羅澤南一營由此而損失慘重。