江山已定，太祖有心棄武從文，常常想把兵權從那些身經百戰的功臣手裏收回來。隻因北方還沒有平定，南方也還有餘孽，一時不便撤兵，隻好一直拖延。但總是耿耿於懷，於是決定修明文治。洪武二年，太祖詔告天下，所有郡縣都設立學堂。每三年進行一次科舉，有鄉試、會試等名目。鄉試定在八月，會試定在二月，每三年考一次，每次考試分為三場。第一場考四書經義，第二場考論判章表，第三場考經史策。到了後來，又將四書經義，改為八股文，規定越來越嚴，範圍也越來越窄。學子們紛紛揣摩迎合，都從八股文這邊用功，弄得滿口之乎者也，迂腐不堪，沒一點實用。這種流毒一直延續了五六百年，才得到改革。
太祖四處征求賢才，派人尋找高人。元朝的行省參政蔡子英，自從元朝滅亡後，就跟著擴廓鐵木兒逃到定西。擴廓鐵木兒兵敗逃跑後，蔡子英四處流亡。太祖聽說他的姓名之後，命人將他的相貌畫下來，在各地尋找。湯和找到後將他送到京師。太祖親自為他解開枷鎖，以禮相待。後來又給他封官，蔡子英始終不肯接受。一天晚上，蔡子英忽然大哭不止。別人問起原因，蔡子英說想起了舊主。太祖知道他很難回心轉意，就命人將他送出塞外，讓他繼續跟隨元主。
除蔡子英外，元朝的行省都事伯顏子中也是一名忠君的奇才。伯顏子中曾經守衛贛州，陳友諒攻破贛州後，伯顏子中逃到福建。太祖一再招攬，他都不肯前來。後來，明朝的布政使沈立本派人以重金相聘，伯顏子中歎息著說：“現在死已經太遲了！”說完寫下七篇詩歌，飲鴆而死。
太祖擔心自己深居宮中，難免閉目塞聽，就常常帶幾名親信，微服出行，一邊探訪賢士，一邊偵察吏治，一邊調查民情。所以江淮一帶，有很多太祖君臣的蹤跡。相傳太祖曾微服臨幸多寶寺。太祖走到大殿裏麵，看見幢幡上都寫著多寶如來佛號，就對侍從說道：“寺名多寶，有許多多寶如來？”學士江懷素聽了，脫口答道：“國號大明，無更大大明皇帝。”太祖大喜，升他為吏部侍郎。太祖走到後院，看見一間屋子的門上貼著一張紙條，上麵寫著“維揚陳君佐寓此”。陳君佐年輕時候很有才華，落拓不羈，曾與太祖有過一麵之交。太祖立即召他相見。陳君佐拜見完畢，太祖笑著問他：“你當初幽默滑稽，我們一別這麽久，你還像以前那樣伶牙俐齒嗎？”陳君佐沒說話。太祖又問他：“朕現在已經得到天下。你說說看，朕像以前的哪位君主？”陳君佐說：“臣見陛下當初蟄伏的時候，常常吃草根、啃樹皮；等到行軍打仗的時候，又和將士們同甘共苦，吃些粗糧野菜。臣以為陛下酷似神農氏，否則怎麽一再品嚐百草呢？”太祖鼓掌大笑，讓他跟隨左右。路上經過一間酒肆，太祖帶眾人進去歇腳。酒肆很小，除了有些酒和豆子之外，什麽菜都沒有。太祖就說：“小村店三杯五盞，沒有東西。”陳君佐隨口接道：“大明君一統萬方，不分南北。”太祖再次大笑，對陳君佐說：“你就跟著朕入朝，當個詞臣，怎麽樣？”陳君佐不肯，太祖也不勉強，當即與他作別。