司馬遷編纂《史記》，源起於他父親司馬談的遺願。司馬談生前在朝中擔任太史令，負責編寫史書，監管天文曆法、祭祀等。他一直想編寫一部偉大的史書，可惜還沒來得及將願望付諸實踐，就已與世長辭，幸而有司馬遷子承父誌。司馬談去世後，38歲的司馬遷接替他做了太史令。42歲那年，司馬遷開始編纂《史記》。
司馬遷編纂《史記》的第五個年頭，漢武帝派李陵攻打匈奴，李陵兵敗投降，漢武帝大怒。司馬遷為李陵辯護，漢武帝遷怒於他，將他關進獄中，並處以宮刑。司馬遷忍辱負重，在獄中繼續編纂《史記》，《史記》有差不多一半都是他在獄中完成的。3年後，漢武帝宣布大赦天下，司馬遷這才被釋放出來，最終在55歲時完成了《史記》。
司馬遷生活的年代，正是散文蓬勃發展的年代，而《史記》正是一部曆史散文集，代表了中國古代曆史散文的最高成就。
《史記》記載了從黃帝到漢武帝統治時期共計3000多年的曆史，全書共130卷，分為十表、八書、十二本紀、三十世家、七十列傳“五部分”，“本紀”記載的是曆代帝王的興衰和重大曆史事件；“表”是以表格形式呈現的各曆史時期的大事記；“書”是經濟、文化、天文、曆法等方麵的專題史；“世家”是曆朝諸侯貴族的傳記；“列傳”是曆朝各階層中有較大影響力的人物的傳記，也有少數幾篇記錄少數民族的曆史，如《匈奴列傳》。
人物傳記是《史記》中文學價值最高的部分。《史記》是中國第一部紀傳體通史，以人物為綱、時間為緯，這是司馬遷首創的一種史書編纂體例。他在人物傳記的編排上，創建了自己獨有的順序，實現了時間和邏輯的統一。
《史記》的人物傳記基本是按照時間先後順序排列的，同時又兼顧了各個人物的內在關聯，使同類型人物的傳記前後相連，不至於彼此孤立，聯係中斷。以西漢的人物傳記為例，李廣、衛青、霍去病都是討伐匈奴的名將，他們的傳記是相連的，中間還穿插了《匈奴列傳》。而公孫弘和主父偃這兩位大臣都曾上書勸阻討伐匈奴，所以他們的傳記排在了衛青、霍去病的傳記之後。另外，他們還曾上書勸阻招撫西南夷，因而他們的傳記之後便是《西南夷列傳》。接著是司馬相如的傳記，這樣排序是因為他曾奉漢武帝的命令招撫西南夷。