明太祖即皇帝位後，劉基奏立軍衛法（《明史》卷一二八《劉基傳》）。《明史》卷八九《兵誌序》說：
明以武功定天下，革元舊製，自京師達於郡縣，皆立衛所。外統之都司，內統於五軍都督府。而上十二衛為天子親軍者不與焉。征伐則命將充總兵官，調衛所軍領之。既旋則將上所佩印，官軍各回衛所，蓋得唐府兵遺意。
這製度的特點是平時把軍力分駐在各地方，戰時才命將出師，將不專軍，軍不私將，軍力全屬於國家。衛所的組織，《兵誌》二《衛所門》記：
天下既定，度要害地係一郡者設所，連郡者設衛。大率五千六百人為衛，千一百二十人為千戶所，百十有二人為百戶所。
所設總旗二，小旗十，大小聯比以成軍。衛有指揮使，所有千戶百戶。總旗轄五十人，小旗轄十人。各衛又分統於都指揮使司（簡稱都司），司有都指揮使，為地方最高軍政長官，和治民事的布政使司，治刑事的按察使司，並稱三司，洪武二十六年（1393）時定天下都司衛所，共計都司十七（北平、陝西、山西、浙江、江西、山東、四川、福建、湖廣、廣東、廣西、遼東、河南、貴州、雲南、北平三護衛、山西三護衛）。行都司三（北平、江西、福建）。留守司一（中都）。內外衛三百二十九，守禦千戶所六十五。成祖以後，多所增改，都司增為二十一（浙江、遼東、山東、陝西、四川、廣西、雲南、貴州、河南、湖廣、福建、江西、廣東、大寧、萬全、山西、四川行都司、陝西行都司、湖廣行都司、福建行都司、山西行都司）。留守司二（中都、興都）。內外衛增至四百九十三，守禦屯田群牧千戶所三百五十九。(11)
全國衛軍都屬於中央的大都督府。大都督府掌軍籍，是全國的最高軍事機關。洪武十三年（1380）分大都督府為中、左、右、前、後五軍都督府。洪武二十六年（1393）定分領在京各衛所及在外各都司衛所。