突厥內徙中原後，又涉及一個其原地餘眾如何管理的問題，是派漢人治理或由本族酋長治理?是設置州縣或仍其突厥種落?唐太宗以創設羈縻府州解決了麵臨的新問題，使民族團結的政策得到了切實的貫徹。
《新唐書·地理誌》雲：“唐興，初未暇於四夷，自太宗平突厥，西北諸蕃及蠻夷稍稍內屬，即其部落列置州縣。”這就是羈縻州縣。東突厥歸附之後，除了部分遷居內地，餘部仍居原處。唐太宗在其原地餘部設置羈縻府州，如在突利轄區的東起幽州西至靈州一帶，設置順、祐、化、長四州都督府；以頡利過去轄區置為六州，又以定襄、雲中兩都督府統轄六州。在行政管轄方麵，任命本族首領為都督或刺史，統率原來部眾。如封阿尼那蘇泥失為懷德郡王、北寧州都督，封突利可汗為北平郡王、右武侯大將軍、順州都督，封阿史那思摩為北開州都督，封改惡從善的頡利可汗初為右衛大將軍，次為虢州刺史，後又順頡利之意，仍複頡利為正三品的右衛大將軍之職。
唐太宗如此禮待降酋，自然收到明顯效果，貞觀四年八月，突厥欲穀設自動歸附就是一例： “欲穀設，突利之弟也。頡利敗，欲穀設奔高昌，聞突利為唐所禮，遂來降。”
唐太宗從突厥族設置羈縻府州取得成功經驗後，又推廣到其他少數民族部落。在貞觀年間，對所謂“南蠻” “西戎” “北狄”數以百計的種族，均與回紇一樣“置州府以安之，以名爵玉帛以恩之”, “以威惠羈縻之”。
貞觀二十一年正月，唐太宗為鐵勒諸部，甲“置六府匕州，府置都督，州置刺史、府州皆置長史、司馬以下官主之。” “皆以酋領(之)”,還於故單於台置燕然都護府，統隸廠回紇、多覽葛、仆骨、拔野古、同羅、思結六府及渾、斛薛、阿跌、契芯、奚結、思結別部、白霄七州。於是對西北地區行使了主權，貞觀二十二年十一月，唐太宗又因北狄的契丹酋長窟哥、奚酋長可度者的率部內附，遂“以契丹部為鬆漠府，以窟哥為都督；又以其別帥達稽等部為峭落等九州，各以其辱紇主為刺史。以奚部為饒樂府，以可度者為都督；又以其別帥阿會等部為弱水等五州，亦各以其辱紇主為刺史。”這樣，對東北地區也行使了國家主權。總之，唐太宗統一西北、東北邊疆，設置羈縻府州的主要功績是在於形成了一個疆域遼闊、統一的多民族國家。正如他在《遺詔》裏所說的：“前王不辟之土，悉請衣冠；前史不載之鄉，並為州縣。”