按照《史記·太史公自序》及《漢書·司馬遷傳》的記載，司馬遷從江浙一帶到湖南之後轉向山東。山東是孔子的故鄉，孔子也是一個一生都很失意的偉大人物。
這時，距漢武帝“罷黜百家，獨尊儒術”已有約10 年的光景，崇儒的風氣已經吹遍全國，這個孔子的誕生地自然也有一番興旺氣象。
司馬遷在這裏都做了些什麽呢？他說他到魯國“觀仲尼廟堂、車服、禮器，諸生以時習禮其家，餘低回留之，不能去雲”。他親身接觸孔子在文化教育上的種種遺跡，深深體會儒家教化的遺風，並且徘徊不願離去。
司馬遷是十分崇拜孔子的，他接著說：天下君王至於賢人眾矣，當時則榮，沒則已焉。
孔子布衣，傳十餘世，學者宗之，自天子王侯，中國言六藝者，折中於夫子，可謂至聖矣！
不過崇拜不表示全部思想的皈依，後世對司馬遷究竟是重黃老，還是重孔孟，爭論不休。我們前麵已經說過，這是個見仁見智的問題，《漢書》的作者班固在《司馬遷傳》的末尾評論道：
其是非頗謬於聖人，論大道則先黃老而後六經。
可是司馬遷的《史記》中“世家”是記諸侯之事的，孔子是平民，他卻把孔子列入諸侯之列。老子則被歸到記述名人傳記的“列傳”中，這樣的編排顯然是尊孔抑老的。那麽他到底更傾向於哪家的思想呢？研究起來恐怕夠寫一本書的了，我們不就這個問題做深入的分析。站在傳記的立場上，從司馬遷的生存時空和生活體驗來看，我們隻能說：
他具有浪漫的性格，他的家庭教育，尤其是他的父親使他具有了相當程度的黃老思想，但他所處的時代又使他浸潤在孔子的遺風中。這種特殊的情況使得司馬遷的思想注定是複雜而不單一的。
山東除了魯國，還有靠海邊的齊國，遊畢齊、魯後，如同孔子困於陳蔡，司馬遷也遇到了麻煩，被迫“厄困鄱、薛、彭城”。這件事情沒有詳細的記載，隻在《孟嚐君列傳》中說：