忽必烈控製了“在整個有居民的世界裏，沒有一個國家像它那樣有那麽多居住地區和那麽多人”的國家，如何進行管理，就成了擺在忽必烈麵前的重要問題。
忽必烈很清楚，管理這樣一個疆域遼闊的國家，隻憑個人的努力是不夠的，需要許多賢臣良將來輔佐，這樣，就要選拔人才，設立機構，建立一套社會穩定的機構，以保證國家長治久安。
要設立統治機構，是仍然沿用蒙古舊法呢，還是采用漢法呢?這是當時蒙古貴族中爭論最多的問題。
忽必烈力排眾議，采納了漢族儒士的建議，毅然決然地采用了漢法。
事實上，蒙古在中央政權建設方麵，沒有什麽成就可言，一直比較混亂。成吉思汗建國時，曾封失吉忽禿忽為也可劄魯忽赤，即大斷事官，讓他總攬民戶分封及刑事訴訟等事，成吉思汗授權忽禿忽說：“將舉國百姓，分與我母、諸弟、諸子等，不論何人，不得違汝所言”,“於舉國百姓之中，懲彼盜賊，勘彼詐偽，死其當其死者，懲其當其懲者”,還要“將舉國百姓所分之份，所斷之案，書之青冊文書，傳至子子孫孫”,不得更改。
也可劄魯忽赤實際上成為國家最高行政長官。窩闊台滅金以後，命失吉忽禿忽為中州斷事官，統管漢地戶口、賦稅、刑法等事務，專治一方，漢人稱之為“胡丞相”。
此外，大汗建有怯薛組織，承擔護衛大汗、宮廷服務、行政差遣等任務。怯薛組織設有必闍赤一職，掌管寫發大汗詔令及其他宮廷文書事務。
後來，蒙古統治地域不斷擴大，在中原和西域各地區頒布政令以及征收貢賦、任免官吏等，都需要行用文書，必闍赤的作用越來越重要，逐漸得以參與政務，成為次於大劄魯忽赤的輔相之臣。
1231年，窩闊台南征駐蹕雲中(今山西大同),曾仿中原官稱，授予必闍赤長官耶律楚材、粘合重山、鎮海三人為中書令和中書左、右丞相，並將必闍赤機構改稱中書省。