忽必烈在改革中央機構的同時，對地方機構也做了改革和整頓，創立了行省製度。
成吉思汗建立大蒙古國時，實行領戶分封製，將草原牧民按十進位分別編製為十戶、百戶、千戶和萬戶，分封給自己的子弟、貴戚和功臣等。
蒙古入主中原以後，“隨事創立，未有定製”,地方製度十分混亂不堪。
蒙古沿襲成吉思汗以來的祖宗之法，在蒙古貴族中繼續實行分封製，同時學習金朝的經驗，在占領區隨時、隨地、隨事臨時設置行省，進行管轄。
行省製度可以追溯到魏晉時期的行台。
北朝、隋和唐初都曾置行台尚書省(簡稱行台)於外州行使尚書省的職權。
金朝沿襲這一製度，為處理地方上的一些重大軍政事務，派遣尚書省宰臣出外便宜行事，行使尚書省職權，叫作“行尚書省事”,簡稱為“行省”,金末主要是為抵禦蒙古和鎮壓農民起義而設。
金朝行省是中央尚書省的派出機構，代表中央尚書省臨時處理某些軍政事務，事畢撤銷，不是固定的地方行政機構。
蒙古進入中原以後，曾糅合蒙古分封製，仿效金朝的行省名稱，對一些投降的金朝官吏或地方軍閥，授予“行省”官號，但都不帶宰相職銜，又不是為了解決某事而設，帶有一定分封性質，所以，與金朝的行省根本不同。後來，這一類行省名號逐漸被取消。
窩闊台在授予降將“行省”官職的同時，又將被征服地區劃分為三個較大行政區，分別任命劄魯忽赤進行管理。
至蒙哥時期，這三個大行政區，在漢文史料裏被稱為“行尚書省”,即“燕京等處行尚書省”,治所設在燕京(今北京),統治中原漢地；“別失八裏等處行尚書省”,治所設在別失八裏(今新疆吉木薩爾),統治阿姆河以東、阿爾泰山以西原西遼、花剌子模故土；“阿姆河等處行尚書省”,治所設在徒思(今伊朗馬什哈德一帶),統治阿姆河以西波斯地區。這一類行省具有金末行省的一些性質，但又有所不同，開始向地方行政區劃過渡。