朱元璋幼時名為重八，又一名為興宗，字國瑞，出身濠州鍾離縣一個貧農家裏，自幼喪父母，因此入皇覺寺為僧。郭子興領導的農民起義軍打敗了在濠州的元軍，元軍撤離濠州時，將皇覺寺焚掠一空。至正十二年（1352年）閏三月，25歲的朱元璋走投無路，無以為生，於是來到濠州城，投奔到郭子興領導的紅巾軍中。因他在戰場上打仗機智勇敢，很快被提拔為親兵十夫長，留在郭子興身邊。郭子興為人“梟悍善鬥，而性悻直少容”。每在關鍵時刻，都讓朱元璋出謀劃策，故與郭子興“親信如左右手”。郭子興見他年青，有膽略，又有見地，也受到下邊戰士的擁護，屢立戰功，是一個有前途的人才，因此決定將養女馬氏嫁給他。
在進軍滁州（今安徽滁縣）途中，李善長來到軍中謁見。朱元璋問李善長：“如今四方戰亂，什麽時候才能太平呢？”李善長答：“秦末大亂時，漢高祖以布衣起兵，他為人豁達大度，知人善任，不亂殺人，五年而成帝業。”又說：“你是濠州人，離劉邦的家鄉沛縣不遠，隻要你認真學習這位老鄉的長處，天下是可以平定的。”朱元璋聽後，十分高興，決定把李善長留在自己身邊，為他出謀劃策。李善長的這一席話，對朱元璋的影響十分深遠，一直到建國以後的政治、經濟政策，大多數是學習漢高祖劉邦而運用於明代的。
朱元璋在至正十四年（1354年）攻占滁州，勢力逐漸壯大，並發展成了一支獨立的武裝力量。當郭子興等五帥失和之時，郭子興乘機從濠州發動進攻。至正十五年（1355年）正月，郭子興用朱元璋之計，派張天祐等進攻和州。郭此時命朱元璋統領其軍。朱元璋考慮到諸將的勢力與自己不相上下，為避免別人不服他，他就將軍命隱藏起來，約好第二天早上在廳中議事。當時入席以右為貴，諸將先入，皆踞右，朱元璋故意後至而就左，“朱比實事，剖決如流，眾人皆愕得說不出話來，不能由此稍微有些收斂。討論分工修城，（限）期三日”。朱元璋負責的工段三天就完成了，諸將都落後。這時說一句話才拿出軍命，南麵坐曰：“奉命總諸公兵，今甓城皆後期，如軍法何？”諸將此刻都非常驚慌，唯恐被辭退。三月，郭子興病死。劉福通占據安豐和潁州之後，派人把逃匿在碭山夾河的韓林兒及其母楊氏，迎到亳州（今安徽亳縣），擁立韓林兒為皇帝，號“小明王”，建國號為“大宋”，年號龍鳳，都亳州。立韓林兒之母楊氏為皇太後。杜遵道、盛文鬱為丞相，劉福通、羅文素為平章。大宋建立後，韓林兒任命郭子興之子郭天敘為都元帥，部將張天祐、朱元璋為右、左副元帥。不久，張天祐、郭天敘都戰死，朱元璋就成為大元帥，郭子興的舊部全歸他指揮。