匈奴的伊稚斜通過政變上位後，一邊鞏固權力，一邊絲毫沒有放鬆對漢朝的侵擾。
元朔三年夏，匈奴數萬騎兵進入邊塞，擊斬漢朝的代郡太守，擄掠一千餘人；同年秋，入寇雁門，又殺掠了一千餘人。
元朔四年（公元前125年）夏，匈奴出動九萬鐵騎，兵分三路，分別侵入代郡、定襄（今內蒙古自治區和林格爾縣）、上郡，一共殺掠數千人。
與此同時，匈奴的右賢王部，則是把目標對準了漢朝剛剛興建的那座嶄新城池——朔方城（今內蒙古自治區杭錦旗北）。
右賢王的地盤在陰山北麵，而朔方城就位於陰山南麵。這座漢朝耗費巨資修建的軍事重鎮，既是扼守河南地的一座前線堡壘，也是一把頂在右賢王腹部的尖刀。可想而知，朔方城會讓右賢王多麽寢食難安。
所以，對右賢王而言，不論是要重新奪回河南地，還是要消除漢朝的直接威脅，都必須把朔方城拔掉。
為此，這幾年來，右賢王屢屢出兵進攻朔方。但麵對這座堅城，卻無一例外地铩羽而歸，令他深感憾恨。
敵之要點即我之要點。保衛朔方城，守護河南地，自然就成了眼下漢帝國的戰略重心。
武帝劉徹決定對匈奴右賢王部發動大規模反擊。
元朔五年（公元前124年）春，漢朝集結了十餘萬重兵，在西、東兩條戰線上同時出擊。
西線作為主攻方向，由衛青率三萬精銳騎兵出高闕（今內蒙古自治區烏拉特後旗東南古長城口），由遊擊將軍蘇建、強弩將軍李沮、騎將軍公孫賀、輕車將軍李蔡（李廣堂弟）各領一萬人馬出朔方，各部皆受衛青節製。
東線作為佯攻，由大行令李息、岸頭侯張次公率三萬人馬，出右北平，進攻匈奴的左賢王部，目的是迷惑匈奴人並牽製其兵力。
衛青率三萬精騎渡過黃河，翻越陰山，出塞六七百裏，直趨右賢王的王庭（約今蒙古國南戈壁省）；其餘各部也分別從不同方向進行包抄合圍。