南越王國在中原戰火紛飛的大動亂中建立起來了，而作為繼秦之後新建立的西漢王朝，在剛剛穩住了中原霸主地位之後，對這個偏處東南一隅的獨立王國，既不予承認，又無可奈何。因為當時的西漢王朝，其內外形勢相當嚴峻。就國內來說，呈現出一種凋敝、窘迫的景象，人口銳減，經濟凋敝。經過秦朝內征外伐及秦末戰爭的消耗，漢初的人口較之秦時有大幅減少。據史料載，秦朝兩千萬人口的主要消耗有：“北築長城四十餘萬，南戍五嶺五十餘萬，阿房驪山七十餘萬。十餘年間百姓死沒，相踵於路。陳、項又肆其餘烈，故新安之坑二十餘萬。彭城之戰，睢水不流，至漢祖定天下，民之死傷，亦數百萬。是以平城之卒，不過三十萬，東方之六國，五損其二。”當劉邦滅項羽後，大封群臣，陳平得封曲逆（今河北定縣），後來劉邦過曲逆，看見曲逆的人口甚眾，不由連聲讚歎，認為曲逆是個“壯哉”之縣，於天下唯洛陽可與比也！秦時曲逆有戶三萬，至漢初僅存五千，這麽一點人口居然能獲得劉邦的稱讚，可見，漢初人口的銳減已到了何種程度。
北方民族控弦之士圖
人口銳減帶來的直接影響是經濟凋敝。從當時的社會經濟狀況來看，經過秦末農民起義，特別是長達四年之久的楚漢戰爭，給整個社會經濟造成了嚴重破壞。人口銳減，土地大量荒蕪使很多農民成了脫離政府控製的流民，而且糧穀缺乏、穀價騰貴，戰亂最激烈的滎陽和關中一帶，饑荒嚴重，每石米高達一萬錢。史學家班固概括當時的經濟形勢是：“自天子不能具醇駟，而將相或乘牛車，齊民無藏蓋。”在長達四年多的楚漢戰爭期間，劉邦忙於逐鹿中原，未對匈奴進行抗擊，而匈奴此時在冒頓單於的統治下，勢力鼎盛如日中天，“控弦之士三十餘萬”，對漢朝的北部邊境地區，乃至帝都所在的關中地區都造成了極大的威脅。楚漢戰爭後，劉邦開始將注意力轉向匈奴，並在國窮民困、準備不足的情況下，於公元前200年，倉促率領20萬大軍往征匈奴，結果被敵軍圍於平城白登山，七天七夜後用陳平之計方才解圍。這次出征，使劉邦認識到了漢初國力的真正水平，之後他果敢采用婁敬的“和親”之策，對匈奴采取了守勢，不敢輕言攻戰。