中國有兩位大曆史學家：第一位是孔子，他寫的《春秋》成為儒家五經之一；另一位是司馬遷，他所編寫的《史記》，是中國紀傳體通史巨著，也是後世史書的典範。
司馬遷的祖先據說是顓頊時代的地官，名叫黎。周朝的程伯休父，就是黎的後代。
周宣王時，黎的後代不再做地官，另外組成司馬氏一族，於周惠王、周襄王時遷到了晉國。以後，這一族人各自分散到衛國、秦國、趙國等地。
秦國的這支叫司馬錯，和張儀同朝為官。司馬錯有個孫子叫司馬靳，是白起的部下。司馬靳的孫子叫司馬昌，做過秦國的鐵官。
司馬昌的兒子叫司馬無澤，這時已是漢朝。司馬無澤生司馬喜，司馬喜生司馬談。司馬談在朝中任太史一職，也就是史官。
司馬談精通各家學問，曾跟一個叫唐都的人學習天文星象，向楊何學習《易經》，又隨黃生研究黃老學術。司馬談在漢武帝建元、元封年間執掌天官職務。
司馬談就是司馬遷的父親。
司馬遷從小就聰穎過人，十歲時，就能背誦《尚書》《左傳》等古文經典。二十歲時，他一個人沿著長江、淮河到江南各地遊曆，登上會稽（jī）山探尋傳說中的禹穴，遊覽九疑山（蒼梧山）——舜埋葬的地方。
他曾渡過沅（yuán）江、湘江（在今湖南省），經過汶水、泗（sì）水（在今山東省），在從前齊、魯兩國的京城講學，瞻仰孔子的遺風；又遊覽舊時魯國的鄒邑、嶧（yì）縣、鄱縣和薛城等地；然後到彭城（在今江蘇省），取道梁地（在今陝西省）、楚地（在今湖北省），帶著豐富的見識回鄉。
此後，司馬遷在漢武帝朝中做官，任職郎中，曾奉命西征巴蜀以南地區，平定西南夷。
就在這一年，漢武帝開始籌劃舉行封禪大典。這可是難得的盛會，可惜司馬談因為身體不佳，被迫留在洛陽，不能隨行，心裏萬般懊悔，使得病情更加嚴重。司馬遷得到消息，立刻趕到洛陽探視。