朱元璋總結了長時期治理國家的實際經驗和元朝統治九十年的成敗教訓，經過研究、爭論，多次改革，特別是經過殘酷的統治階級內部鬥爭，逐步建立了統治全國的官僚機構，使之更加集中，更有威權，更加完備起來。
洪武一朝，中央集權製度的加強，是階級鬥爭的結果。
大明皇朝的版圖廣大，必須建立一套有效率的如臂使指的高度中央集權的中央和地方政府機構，才能真正做到統一、集中，才能做到對內鎮壓、對外保衛國土的強有力的職能。曆史發展的趨勢和當時客觀情況，迫使朱元璋不能不著手進行大刀闊斧的改革。
先說地方機構：元代的行中書省是從大都的中書省分設出去的，中書省有什麽官，行中書省也有什麽官，中書省統管軍政、民政、財政，行中書省也照樣管軍政、民政、財政，職權過重。到後期四處兵起，地方人自為戰，往往大小事都自作主張，元皇朝不能過問，造成地方跋扈，分權；皇朝指揮不靈，調度不動，枝強幹弱，割據分裂的局麵。朱元璋自己就是從宋的行中書省丞相起家的，他做的什麽事從來也沒有得到過小明王的批準，一個行中書省實際上是一個獨立王國。當他做平章、做丞相的時候，權力越大越好，龍鳳皇帝的牽製越少越好，甚至到了羽翼豐滿的時候，除了用龍鳳的年號以外，根本不把小明王的朝廷看在眼裏，現在情況倒轉過來了，自己做了皇帝，處在元順帝、小明王的地位了，矛盾發生了。
是地方分權呢，還是中央集權呢?是讓各行中書省都像他自己當年那樣鬧獨立呢?
還是把一切主要權力都抓在自己手上，緊緊控製地方，要他們奉令唯謹呢?這是一個極為嚴重的問題，必須妥善解決。
小明王的統治製度是因襲元朝的，元朝朝廷和地方有什麽機構，他也照樣設立。朱元璋以戰功升動江南行中書省丞相，在開拓領土以後，設官分職，也隻能繼承這個製度。一直到洪武九年(1376),他越來越覺得地方權重的毛病。這些年來，一方麵忙於打仗，另一方麵正研究如何改革，到洪武九年考慮成熟了，決定把所有大權都集中在朝廷，改行中書省為承宣布政使司，設左右布政使各一人。布政使是皇朝派駐地方的使臣，掌一省之政，主要是管財政和民政。皇朝規定政策、法令，辦事程序，臨時任務，通過布政使下達各府、州、縣地方官執行。全國分浙江、江西、福建、北平、廣西、四川、山東、廣東、河南、陝西、湖廣、山西十二布政使司，洪武十五年(1382)增設雲南希政使司。布政使司的地理分區，大體上繼承元朝的行中書省，布政使的職權卻隻管財政和民政和元朝行中書省的無所不統，輕重大不相同了。由於行中書省這一名詞已經叫慣了，雖然改成布政使司，朝廷和民間在口頭上還是叫作行省，簡稱為省。而且就地位論，行中書省是從皇朝中書省的機構分設於地方，是中書省的分出機關，體製很重，布政使則是皇朝派駐地方的使臣，事事都須秉承朝廷意旨，前者是中央分權於地方，後者則是地方集權於中央，性質起了根本的變化。此外，各布政使司掌管法庭、監獄的機構，設提刑按察使司，長官為按察使，主管一省刑名按察之事。布按二司和掌軍政的都指揮使伺合稱三司，是皇朝派遣到地方的三個派出機關。這樣，民政、稅收，法庭，常備軍三個管理機關分別獨立，不相統轄，直接由朝廷指揮，達到收回大權的目的，達到集中、強化皇朝權力的目的，也便於這三個機構互相牽製，便於垂直統治，布政使之下的地方政府分兩級：第一級是府，長官為知府；有直隸州，即直隸於布政使司的州，長官是知州，其地位等於知府。第二級是縣，長官是知縣；有州，長官是知州，其地位與知縣同。州縣是直接管理人民的政治機構，所謂“親民之官”,這個改革也把元朝的路、府、州、縣的三級製簡化了，政令的下達減少了層次，指揮更方便、靈活了。