濠州經過五個月的圍攻，不但是糧秣感著缺乏，兵力也衰減得多。元璋細察二王和諸帥，胸襟太窄，眼光太短，都非成事之器。他得了郭子興的允許，回到鍾離，豎起大旗招兵，旬日間得了七百人，鄉人徐達、湯和等聽說朱元璋已做了紅軍頭目，都來投效。子興大喜。至正十三年六月，元璋被署為鎮撫，從此一躍為一個帶兵官了。
彭、趙二王恣睢自用，遇下苛虐，子興又兵力衰弱，不能有大作為。元璋把新兵交代以後，稟準了主將，率領徐達、湯和、吳良、吳禎、花雲、陳德、顧時、費聚、耿再成、耿炳文、唐勝宗、陸仲亨、華雲龍、鄭遇春、郭興、郭英、胡海、張龍、陳桓、謝成、李新、張赫、周銓、周德興等二十四壯士南取定遠，用計降了張家堡驢牌寨的民兵，得兵三千。又招降秦把頭，得八百餘人。夜襲元將張知院於橫澗山，收其卒二萬，軍聲大振。
元璋得到大量生力軍，立刻重新部署，加緊訓練。他最看重紀律，在檢閱新軍時，他懇切地訓誡將士說：“你們原來是一個很大的部隊，可是我很輕易地就把你們歸並過來。原因是你們的將官沒有紀律，士卒缺乏訓練。現在我們要矯正這兩個缺點，加緊訓練，嚴明紀律，共立事功。”三軍聽了，無不踴躍思奮，等候機會，一顯身手。
定遠人馮國用、馮國勝（後改名勝）兄弟因亂團結義兵，立寨保衛鄉裏，聽說元璋軍隊的紀律好，率眾歸附。元璋端詳這兩兄弟，裝束很像讀書人，舉止談吐都和眾人不同，就問以定天下大計。國用以為建康龍蟠虎踞，帝王之都，先據建康，以為根本，然後命將出師，掃除群寇，救生靈於水火，勿貪子女玉帛，倡仁義以收人心，統一天下不是難事。元璋大喜，留兩兄弟在幕府讚兵政，預機密。把兩家軍隊合並編製，南下攻滁陽。