俗話說，打江山容易，守江山難。要守好江山，有兩個非常關鍵的因素，一個是如何用人，一個是用何種方法，即管理體製。在封建帝王時代，國家的中心權力集中掌握在帝王一個人手中。帝王需要麵對的是舉國上下不計其數的大事小情，想要高效且公正地處理好每一件事，就需要建立起一個職責明確的行政體係，使上令可以下傳，也使下情可以上達。民眾是水，帝王是舟，舟在水中，才能航行萬裏而無憂。唯有如此，才能使帝王與基層百姓呼吸與共。
因此，在建立明王朝後，朱元璋首先要做的一件事情就是改革元朝遺留下來的行政體製，使其符合當時的國情，以及符合朱元璋個人對大明帝國未來的暢想。
元時，中央政權為了方便管理全國事務，曾設中書省來總理全國事務，而中書省的實際掌控權則在左、右兩名丞相手中。這樣一來，事務不論大小，中書省都具有最終的決定權，於是也就有可能會造成左、右丞相個人私欲膨脹以及以權謀私的情況。這一行政方式，使兩位丞相相互製約的同時，也帶來了不可避免的缺點。如果兩位丞相政見不合，便會直接造成國家決策層的爭鬥，甚至還可能會出現皇權被架空的現象。元朝的地方建製，則是直接效仿了中央中書省的方式，在各地分別設立行中書省。行中書省又被稱為“外政府”，各地的政、法、軍權都在其掌控之下。元朝後期，各地官府各自為政、擅自專權以及軍隊之間的相互攻伐等現象，都是中書省製所造成的直接弊端。當朝廷對地方官府的掌控喪失殆盡後，國家必然會走向分崩離析的局麵。
小明王公開建國後，最初也是效法元朝中書省的行政體製，而朱元璋便是這一體製中的實際掌權者。在當時，全國大小事務都必須要報給朱元璋審批，他卻不必件件事情都向小明王匯報。這就使朱元璋在短時期內掌握了軍政大權，並且對全國各地的政治形勢有了非常明晰的了解。元朝實行中書省製而造成的種種弊端，朱元璋早就看在眼中、記在心裏。他既明白此種體製所帶來的好處，同時也對其所造成的弊端有著深刻的體悟。朱元璋在建立大明政權的初期，也沿用了這一政治體製。因國家行政體係尚不完備，各地臣子違法亂紀的事件也是層出不窮，這使朱元璋意識到改革國家的行政體係已經勢在必行了。