李廣利出征大宛這件事，知道內情的人都覺得並不光彩，但終歸也是一場勝仗，何況漢武帝給李廣利提供的各種配備就已經夠震懾西域的了，所以大宛破後，西域為之震懼。這年正好匈奴單於去世，新單於初立，漢武帝想要借破大宛的餘威再發動對匈奴的戰爭。於是他找了一個借口，昔年高祖曾被匈奴圍困，呂後曾被匈奴單於所辱，漢武帝表示要為祖先報仇。這個宣告馬上得到了匈奴的回應，單於初立，這時發生戰事會對自己不利，於是他向漢朝表示願意把手中扣留的漢使送還回國。
第二年，即天漢元年（前100 年），漢武帝派蘇武等人帶著被扣留在漢的匈奴使者，到匈奴與之交換，並送了大批禮物，以答謝其善意。可是匈奴的善意並不誠心，漢朝一客氣，他反倒傲慢起來了。這時一位降匈奴的漢將虞常計劃劫持單於的母親，結果東窗事發。本來這事與蘇武無關，但因為虞常曾把這個計劃告訴過蘇武的副手張勝，所以把蘇武也牽連進去了。蘇武自殺不成，被關在一個大窖裏，好幾天就靠飲雪充饑。匈奴把他送到北海（今俄羅斯貝加爾湖）沒有人跡的地方去牧羊。19 年後，蘇武才得以返回故鄉。
外交和解至此徹底破裂，漢武帝於天漢二年（前99年）命李廣利以3 萬騎出酒泉擊匈奴右賢王。匈奴的疆域分為中左右三部，所謂左右，是以匈奴麵向南邊為依據，東邊為左，西邊為右。中部由單於直接統轄，左部由左賢王及名銜帶“左”字的屬官（如左大將、左大都尉）統治，右部則由右賢王及名銜帶“右”字的屬官（如右大將、右大都尉）統治。
這時候的匈奴，由於早先受到漢武帝外交攻勢的壓迫，其左部由遼東一帶西遷至內蒙東部；右部亦西遷，而與酒泉、敦煌相對，所以漢武帝命李廣利出酒泉擊右賢王。