元朝的疆域是曆朝曆代中最為廣闊的，因此在地方行政管理上，也最為粗獷。這種粗獷集中的表現就是行省的設置。金朝也有行尚書省的設置，但一來不是全局性的，二來也是臨時措施。元朝繼承了這個體製，並將之固定化。在蒙古草原之外的統治區域，除大都周圍的“腹裏”外，元朝設置了十個行省。所謂的行省，就是“行中書省”，屬於中央政府中書省在地方的派出機構。本來，“省”的稱謂是宮禁的意思，當年設置三省，本是君權集中的體現，但是隋唐以後，省的設置逐漸脫離了原本宮廷附屬機關的本義，變成純粹的行政機構。到了金元，又進一步演變成了地方建製的代稱。
行中書省是地方最高行政機構。人員參照中書省，設置丞相、平章政事、左右丞和參知政事。他們在名義上屬於中央官，但對於地方所有政務都可以管理。行省一級，還設有幾個平行機關，有行禦史台、宣慰使司、肅政廉訪使司（管刑獄和監察）、儒學提舉司（管學校和祭祀）、都轉運鹽使司（專管鹽課）。其中，宣慰使司也是省一級大行政區的行政機構，職權幾乎跟行省一樣，卻受行省管轄。自從行省成為一級地方區劃以後，“省”這個概念就由原來的中央屬性，變為具有地方意義的單位。這個無論如何都過於龐大的地方建製單位，後來被明清兩代繼承下來，延續至今，使中國擁有世界上最大的地方行政單位。行省的劃分，當初隻是一種跑馬圈地的感覺，簡單地將地方分成大塊，並沒有考慮區域內經濟文化的關聯性，比如將經濟文化聯係密切的長江三角洲一分為二，江南為江浙行省，江北為河南江北行省。將長江中遊聯係密切的兩湖（洞庭湖、鄱陽湖）流域分屬兩省，湖廣與江西，而將珠江三角洲歸屬江西。這為後世經濟文化的發展，留下了巨大的隱患。