司馬家族這位重操遠祖舊業的司馬談無疑是真正引導司馬遷走向偉人偉業大道的關鍵人物，同時，他對司馬遷的思想也有很大影響。
《史記》中關於司馬談的故事並沒有詳細的敘述，也許是司馬遷不願在私事方麵多費筆墨。因此，司馬談的生年無法考證，隻知道他死於漢武帝元封元年（前110 年），即司馬遷36 歲那年。他在漢武帝建元年間（前140―前135 年）擔任太史令，確切年代不知，大概是在漢武帝登基後一兩年內，也就是司馬遷六七歲的時候。不過，《史記·太史公自序》中錄了一篇他寫的論文，這篇文章非常有名，也非常有價值，叫《論六家之要旨》。我們從中可以看出司馬談所推崇的思想學說：
他把春秋戰國以來的學術整理出一套係統，井然有序地對陰陽、儒、墨、名、法、道六家學說做簡要而一針見血的總評。他最推崇的是道家學說，而批駁最多的則是儒家學說。
他認為各家都有個通病，就是過於偏狹，無法在實際生活中靈活地運用，隻有道家“因陰陽之大順，采儒墨之善，撮名法之要”，而且“與時遷移，應物變化，立俗施事，無所不宜”。換句話說，司馬談認為道家學說最具有綜合性，最富於彈性。
在他眼中，道家學說就是集儒、名、墨、法、陰陽等各家學說之所長的哲學，他盛讚道家“無為而無不為”，批評儒家“以六藝為法，六藝經傳以千萬數，累世不能通其學，當年不能究其禮”，因此“博而寡要，勞而少功”。
司馬談的這套思想對司馬遷影響很大。《太史公自序》究竟寫於哪一年已經不可考，但這篇文章的寫作背景我們可以分析出來。
漢初的君主推崇道家學派中的黃老之治。黃老之治，是以崇尚黃帝時期的政治清明、發端於春秋時期的道家思想中的清淨儉約作為主要內容的政策方針，反映在漢初的具體政策大綱就是“與民休息”“輕徭薄賦”“清淨儉約”。到漢武帝盛年時期，“罷黜百家，獨尊儒術”。司馬談正是生活在統治思想大變革的過渡時期，而且，他顯然是沉湎於過去的黃老之治的代表。司馬遷承襲了他父親評六家的學風，但是他的見識和評判已遠超他父親。