既然華夏秦漢帝國與周邊尚未發展出複雜政治體的非華夏人群實力相差懸殊，占有新的土地、資源和人口又會增強帝國的實力，為什麽帝國的擴張不能一直維持下去？這是一個複雜的問題，至少以下幾個原因應該考慮。
首先，中央集權製度固然大大增強了總體的政治軍事能力，但也使局部的問題成為整體的負擔，從而使外患轉為內憂。主父偃如是描述秦對匈奴的戰爭：
司馬遷對漢武帝開邊的代價也有類似認識：
當是時，漢通西南夷道，作者數萬人，千裏負擔饋糧，率十餘鍾致一石，散幣於邛僰以集之。數歲道不通，蠻夷因以數攻，吏發兵誅之。悉巴蜀租賦不足以更之，乃募豪民田南夷，入粟縣官，而內受錢於都內。東至滄海之郡，人徒之費擬於南夷。又興十萬餘人築衛朔方，轉漕甚遼遠，自山東鹹被其勞，費數十百巨萬，府庫益虛。[31]
戰爭或者開邊活動雖然發生在邊境，動員的卻是全國的人力、物力，勢必給內地人民也帶來沉重負擔。而山東地區的人民，原本與朔方的戰事毫無關係。甚至巴蜀的百姓對於開拓鄰近的西南夷都不支持。[32]嚴安上書漢武帝曰：
今欲招南夷，朝夜郎，降羌僰，略濊州，建城邑，深入匈奴，燔其蘢城，議者美之。此人臣之利也，非天下之長策也。今中國無狗吠之驚，而外累於遠方之備，靡敝國家，非所以子民也。[33]
“人臣之利”與“天下長策”的分歧，反映出帝王將相等統治階層與承擔義務的人民之間，在利益與觀念上不一致。疆域廣大帶來的結果是服役路程的遙遠，上引文中主父偃與司馬遷都注意到“三十鍾至一石”“十餘鍾而至一石”的問題，一鍾等於六石四鬥，可見長途運糧運輸成本的驚人。[34]不僅向邊地，向中央的路途同樣過於遙遠。賈誼注意到，淮南之地的吏民因為徭役往來長安太遠，“自悉而補，中道衣敝，錢用諸費稱此，其苦屬漢而欲得王至甚”，願意做諸侯之民、不願做天子之民的大有人在。[35]葛劍雄據此指出，有時分裂和分治比統一更受到民眾的歡迎。[36]甚至統治集團中也有各種離心的因素，漢初各諸侯國自不待言，隨著帝國的擴張，外郡太守也被認為是對中央皇權的威脅。嚴安認為：