所有製度中朱元璋最不喜歡的就是中書省，因而針對它的改革也是最早的，有多早呢？早到明朝才建立，朱元璋還在照抄元朝製度的時候，朱元璋就向下麵官員表示中書省這一項咱們能不能別全抄。
前麵說了元朝時期，中書省除了左右丞相以外，還有一個最高長官是中書令，並且通常由皇太子來擔任，可謂是天字第一號官員。在明朝建立之初，劉基等人也曾上書朱元璋詢問中書省是否要繼續設立中書令，並由皇太子擔任。但是，國家的儲君擔任國家的最高官職想想就太刺激了，朱元璋直接否定了這一提議，於是明朝中書省的最高長官就是丞相，並且和元朝一樣是左右兩位丞相，從而實現丞相之間的互相牽製。從實際來看，這種丞相之間的互相牽製是有很大的靈活性，所謂的牽製完全是看左右丞相個人，如果其中一位丞相過於強勢或者能力突出，那麽這種牽製根本發揮不了作用，不然元朝也不至於會出現那麽多“權相”。折騰了一圈雖然把中書省的最高長官給廢除了，但是中書省的權力還是十分大，中書令本來也不常設，所以廢除這一職務更多是形式上的，因此朱元璋要想削弱中書省的權力還得接著發功。
在當時朝廷所有的奏章都要先交由中書省處理，中書省整理之後再匯總給皇帝，實際上上交給皇帝之前，中書省的官員就已經提出了處理對策，一般情況下皇帝蓋個章就行了，這顯然太不集權了，因而朱元璋於洪武十年（公元1377年）正式設立通政司（全稱為“通政使司”），這個機構的主要職責是“出納帝命，通達下情，關防諸司出入公文，奏報四方章奏，實封建言，陳情申訴及軍情聲息、災異等事”，看起來很多，實際上就一條，那就是越過中書省直接將所有奏章呈給皇帝。概括來講，通政司總的職責是“受內外章疏敷奏封駁之事”。同時，這一機構的設立便侵奪了中書省原有的“關白”之權（“關白”一詞出自《漢書·霍光金日磾傳》中的“諸事皆先關白光，然後奏天子”，指上級所擁有的下級必須向其匯報各項事務的權力）但是做到這一步，朱元璋還是不滿意，因為通政司的設立隻是侵奪了中書省的“關白”之權，而不是取代了中書省的“關白”之權，中書省依然擁有“關白”之權。於是，針對這一情況，朱元璋決定更進一步，在設立通政司的第二年，也就是洪武十一年（公元1378年），朱元璋正式下令有司以後不需要再向中書省匯報了，隻需對皇帝負責即可，從而徹底廢除了中書省的“關白”之權。