中書省、樞密院等官府建立以後，官僚機構內部的吏治和效率，使忽必烈感到很不如願，他決定還要進一步完善，才能適應政府運行機製。
有一次，忽必烈詢問應召的轉運使張雄飛等人：“今任職者多非材，政事廢弛，譬之大廈將傾，非良工不能扶，卿輩能任此乎?"
張雄飛回答：“古有禦史台，為天子耳目，凡政事得失，民間疾苦，皆得言；百官奸邪貪穢不職者，即糾劾之。如此，則紀綱舉，天下治矣。”
忽必烈聽了，連連稱善。宰相廉希憲和翰林學士高智躍也向忽必烈提出過盡快設立禦史台的類似建議。
至元五年(1268)七月，忽必烈下令設立禦史台，以右丞相塔察兒為首任禦史大夫，張雄飛則擔任侍禦史。此外，還設禦史中丞、治書侍禦史等。
禦史台的職司主要是糾察百官貪贓不法和諫言政治得失。忽必烈本人對禦史台格外重視。
禦史台由台院、殿中司、察院三部分組成。台院設大夫、中丞、侍禦史若幹員，是禦史台的首腦機關。殿中司設殿中侍禦史，專門糾肅朝儀和監督大臣奏事等。察院設監察禦史三十二人，專掌舉刺百官善惡和諷諫政治得失。
禦史台官員任用，依然是蒙古人居長，參用一定數量的漢人。禦史大夫，開始就貫徹非蒙古“國姓”不授的原則，而且以蒙古勳舊貴胄“大根腳(家世、出身)”為主。
首任禦史中丞為帖赤和阿裏，從名字看，此二人並非漢人。
後來，參用的張文謙、董文用、崔彧、張雄飛等漢人中丞，多半是忽必烈親自選拔的藩邸舊臣。監察禦史起初均為漢人，至元十九年(1282)十月，經崔或提議和忽必烈批準，改作蒙古人十六員、漢人十六員。還確定了台察官自選的規則。
禦史台設立伊始，忽必烈就頒布《立禦史台條畫》,規定其糾彈不法、上書言事、照刷文卷以及監督刑獄銓選等職司。