司馬遷10 歲前後的幾年裏，大漢帝國開始朝著一個嶄新的方向前進。竇太後死了，再也沒有人能夠製止漢武帝大刀闊斧的改革。而最令漢武帝不能忍受的，是漢朝開國以來，一直在北方耀武揚威、盛氣淩人的匈奴。以“建元”對抗“始皇”的漢武帝尤其沒法忍受高祖開國以來的版圖比秦始皇時代小了許多。
元光二年（前133 年），司馬遷13 歲，朝中大臣因為對匈奴是戰是和發生了激烈的爭辯，最後主戰派獲勝。
他們分析了雙方的優劣：匈軍馬匹好，騎術好；漢軍則兵器好，行陣嚴整，善於步戰。基於此，主戰派決定第一仗采取誘敵深入然後加以殲滅的戰術。誘敵聚殲的戰場選在了馬邑（今山西朔縣西北），主戰派正在進行積極的部署。
司馬遷在《史記·匈奴列傳》中描寫了這場戰役，漢軍先派遣一個人假裝投降匈奴，引誘匈奴單於領兵來搶奪馬邑的財物，30 萬漢軍就埋伏在附近的山穀裏。結果，單於率領10 萬騎兵還沒到馬邑時，發現一群牲口在郊野上無人看管，遂起疑心，並迅速退回，漢軍的計謀就這樣落空了。
自此以後，漢、匈的正常關係徹底斷絕，匈奴對漢朝有了較高的警覺。於是，漢武帝決定采取主動出擊的策略，漢、匈之間交戰數十年，各有勝負。司馬遷13 歲以後就耳聞目睹了一場又一場戰爭的接連發生。司馬遷在《史記》中描寫戰爭的手法及遣詞用句十分精彩，可以說兩千多年來，難有出其右者，或許跟他身處那種環境，聽得多了也有一點關係吧。
這個時期，漢朝出了不少名將，而且這些人顯然與高祖時代有很大不同。漢初那些跟隨高祖興起的軍人集團，到這時候早已凋零殆盡，目前這些關東軍人的後裔大多不會打仗，漢武帝隻好倚重素來善戰的關西人，即秦人後裔，來推行自己的計劃。不過，漢武帝仍然秉承高祖以來壓抑關西軍人的傳統，雖然倚重他們執行任務，但掌握軍隊指揮權的將軍一律由外戚擔任。