“樊燮”案之後，左宗棠開始招募軍隊，因為有了江忠源、曾國藩的先例，左宗棠辦私家軍隊也少走了很多彎路，更何況他這些年來在長沙士紳、軍人中間積累下很高的名望，要他舉旗招兵，是很容易的事。
當時曾國藩組建湘勇，主要就是模仿明朝大將戚繼光的“戚家軍”來編製的。湘軍以“營”為基本單位，每營500人，級別相等，人數固定。這就和綠營軍區別開來。綠營軍編製，各個行軍單位人數不等，沒有統一的號令和人數，指揮調度起來會很費勁，常常還會產生混亂。此外，湘軍每營還專門設有180人的“長夫”，專門用來運送軍器輜重，保證軍力不乏。史書上記載說，湘軍將領大多是讀書人出身，士兵的主體很多都是山農，他們在武器裝備上在當時算是比較強的，但卻不善於肉搏、怯於近戰。而且，兵為將有的體製決定了朝廷是不給軍費的，所有的軍費開銷都要由大帥自己來承擔。為了讓士兵安心訓練，湘軍的軍餉比普通綠營軍高出六倍，訓練時，每日口糧加一錢，征戰每日加一錢五分，重傷給付養傷銀30兩，陣亡給付60兩。因而，曾國藩等人能養活一支軍隊，少不得一大批地主財團的支持。
左宗棠的楚軍和曾國藩的湘軍編製類似，隻是初創階段，待遇還達不到湘軍的標準：湘軍士兵每月六兩銀子，左宗棠搜腸刮肚，翻箱倒櫃，四處籌錢，給士兵每月四兩，而當時綠營軍士兵的俸祿是每月一兩。
這裏需要注意這樣一個問題，即軍隊性質的區別。曾國藩的湘軍，自組建到解散，一直都稱做“湘勇”，而“湘軍”這個稱號是後人們叫的。“勇”與“軍”的區別就在於，“勇”是非政府武裝，屬於私人雇傭軍，而“軍”是政府軍隊，拿國家的餉銀。然而在這裏，左宗棠一開始招募軍隊，就把自己的“番號”給定了下來，他不把自己的隊伍叫“楚勇”，而是叫“楚軍”。曾國藩看到這一幕，有些驚訝，連忙上去勸阻，但左宗棠牛脖子一梗，根本沒把這當回事。有人說這是左宗棠好大喜功，但從另一個層麵上說，這也是左宗棠誘招兵員的一個策略。很多不明就裏的人以為左宗棠是打著政府軍的旗子招兵，給出的餉銀又是政府軍的四倍，就興奮地報名參軍了。這樣一來，楚軍在薪酬待遇上不敵湘軍的劣勢，也就轉化成了對綠營軍的優勢。很快，左宗棠招募到了五千兵勇，其骨幹成員有前湘軍將領王鑫的從弟王開化、王開琳、王勳，以及猛將羅信南、崔大光、李世顏、羅近秋、黃少功等。