作為一個將軍一下子被削職為民，讓其閑居在家，李廣的心情可想而知。有一次，李廣與能望以知禍福的相士王朔一起飲宴。酒過三巡，李廣長吧一聲對身邊的王朔說道：“唉，在我年輕的時候，我曾經相過一次麵，那位老丈說我不能封侯，祿不過兩千石，難道我這一生果真會如此嗎？”王朔仔細的看了看李廣說道：“你的麵相確實不好，但你的氣好，頭頂上福祿氣繚繞，看上去應該可以封侯的。不過將軍您想一下，你平生有沒有什麽最後悔的事情？”李廣聽了以後深思半晌才說道：“我隻記得在當隴西太守的時候，曾經有一次誘殺羌兵八百人，那件事直到現在我想起來，還特別的後悔。”王朔說道：“你不能封侯的原因就在這裏了，禍莫大於殺降，此乃將軍為什麽不能封侯之所在。”
李廣聽了此話之後，默默不語，此時他心裏想的是：想自己廝殺半生，還隻是一個普普通通的太守之職，而那些比自己小十幾歲甚至小幾十歲的後生們，其地位也都在其上。如公孫敖，自己當將軍的時候，他還隻是一個普通的士兵，現在居然封了侯；他的堂弟李蔡，也已經位至諸侯國的丞相，封為列侯。這些怎能不讓他鬱鬱不歡呢。
在公元前123年，漢武帝又以衛青為車騎將軍，率騎兵三萬從朔方攻擊匈奴結果大勝而返，斬首萬餘。因功衛青被封為大將軍，跟隨著衛青出征服其他將校如公孫賀、李朔、趙不虞等人都沾光封了侯。公元前119年，漢武帝為了徹底擊敗匈奴，下了大規模征兵的詔令，漢武帝征集了全國的精銳騎兵十萬，另加數十萬的後勤運輸部隊。他把部隊分成兩路向匈奴攻擊。一路由大將軍衛青從定襄出塞，一路由驃騎將軍霍去病率領從代郡出塞，然後采取分進合擊的戰略，深入匈奴的腹地，準備對匈奴進行一次一勞永逸的打擊，以徹底解決