濠州經過長期圍攻，不但糧秣缺乏，兵力也衰減得多。元璋想辦法，弄了幾引鹽，到懷遠換了幾十石米，獻給子興。[9]細想二王和諸帥，胸襟太窄，眼光太短，怕成不了什麽氣候，要做一番事業，得憑自己有隊伍，才有力量。打定主意，請準了假，回到鍾離，豎起招兵大旗。少年夥伴徐達、湯和等幾十個人，聽說元璋做了紅軍頭目，都來投效。不過十天工夫，招募了七百人，子興大喜。至正十三年（1353）六月，派元璋做鎮撫，從此，就一躍成為帶兵官了。[10]一年後，又以軍功升作總官。[11]
彭趙二王管軍無紀律，隨便做壞事，不聽勸，也不能改，子興又兵力單弱，做不了主張。元璋認為一起混下去，會出毛病，不如自己單槍匹馬，向外找出路，把新兵交代了，稟準了主將，帶領貼身夥伴徐達、湯和等二十四人，南遊定遠。使個計策，招降了張家堡驢牌寨三千民兵。向東半夜裏襲擊元將老張（張知院），收降民兵男女七萬口，挑揀得兩萬壯士，成為浩浩****的一支隊伍。用朱元璋自己的話來形容，真是“赤幟蔽野而盈岡”。[12]
元璋得到大量的生力軍，立刻重新編製，加緊訓練。他最看重紀律，在檢閱新軍時，特別指出這一點，懇切地訓誡將士說：“你們原來是很大的部隊，可是毫不費事就到我這邊來了，原因在哪裏呢？一是將官沒有紀律，二是士卒缺乏訓練。現在我們得建立嚴格的紀律，做到嚴格訓練，才能建功立業，大家有好處。”三軍聽了，無不喜歡。[13]
定遠人馮國用、國勝（後改名勝）兩兄弟，原來是地主，天下大亂後，團結地方上的佃戶和鄉民，建立堡寨自衛，聽說元璋軍隊的紀律不錯，帶領部隊來投效。元璋端詳這兩兄弟，裝束很像讀書人，行動說話都和一般老百姓不同，就問如今該怎麽辦。國用以為建康（元集慶路，今南京）這地方，形勢極好，書上有“龍蟠虎踞”的話，是多少代帝王的都城，先占了這地方做根本，站穩了逐步發展，擴充地盤，不貪子女玉帛，多做好事，得到人民的支持，建功立業不是難事。元璋聽了極高興，留下做幕府參謀，把兩家部隊合並編製，南下攻滁州（今安徽滁縣）。[14]