原來，司馬遷的祖上好幾輩都擔任史官，他的父親司馬談也是漢朝的太史令。司馬遷十歲的時候，就跟隨父親到了長安，從小就讀了不少書籍。
為了搜集史料、開闊眼界，司馬遷從二十歲開始，就遊曆全國各地。他到過浙江會稽，看了傳說中大禹召集部落首領開會的地方；他到過長沙，在汨羅江邊悼念愛國詩人屈原；他到過曲阜，考察孔子講學的遺址；他到過漢高祖的故鄉，聽取沛縣父老講述劉邦起兵的事情……這種遊覽和考察，使司馬遷獲得了大量的知識，又從民間語言中汲取了豐富的養料，給司馬遷的寫作打下了堅實的基礎。
隨後，司馬遷當了漢武帝的侍從官，又跟隨皇帝巡行各地，還奉命到巴、蜀一帶視察。司馬談死後，司馬遷繼承了父親的職務，做了太史令，他閱讀和搜集的史料就更多了。正在他準備著手寫作的時候，就因為替李陵辯護得罪了漢武帝，下監獄受了刑。他痛苦地想：這是我的過錯呀，現在受了刑，身子毀了，沒有用了。
但是他又想：從前周文王被關在羑裏(31)，寫了《周易》；孔子周遊列國的路上被困在陳蔡，修訂了《春秋》；屈原遭到放逐，寫了《離騷》；左丘明眼睛瞎了，寫了《國語》；孫臏被剜掉膝蓋骨，寫了《孫臏兵法》；還有《詩經》三百篇，大都是古人在心情憂憤的情況下寫的。這些不朽的作品，都是作者心裏有憂愁或者理想行不通的時候才寫出來的。我為什麽不利用這個時候把自己的作品寫好呢？
於是，司馬遷將從傳說中的黃帝時代開始一直到漢武帝元狩元年，也就是公元前122年為止這段時期的曆史，編寫成一百三十篇、五十二萬字的巨著《史記》。
司馬遷在他的《史記》中，對古代一些著名人物的事跡都做了詳細的敘述。他對於農民起義的領袖陳勝、吳廣，給予高度的評價；他對被壓迫的下層人物，往往表示同情的態度；他還把古代文獻中過於艱深的文字，改寫成當時比較淺近的文字。《史記》的人物描寫和情節描述，形象鮮明，語言生動活潑。因此，《史記》既是一部偉大的曆史著作，又是一部傑出的文學著作。