介紹完了司馬遷的出生時間和出生地點，我們該來說說他的家世了。
首先引起我們興趣的，應該是他的姓氏—— 司馬。
我國的姓氏很多，每一個姓氏都有自己的淵源，是個很複雜的問題。到了周朝的中後期，由於人口漸多，原有的奴隸製度逐漸過渡到封建製度，因此姓氏由分封製衍生出來。那時，有以官為姓氏的，也有以封邑為姓氏的，司馬就是一個官名，掌管軍事。
對於司馬這個姓氏的起源，司馬遷在《史記》的自序中曾有所敘述，但依然無法給我們十分清晰的脈絡，他的家族譜係實在很難追究。粗略的敘述應該是，司馬遷的一位祖先是個管軍事的官，後來到了周朝時成為史官，再後來逐漸分散到各諸侯國，就各行各業都有了。
昔在顓頊，命南正重以司天，北正黎以司地。唐虞之際，紹重、黎之後，使複典之，至於夏、商，故重、黎氏世序天地。其在周，程伯休甫其後也。當周宣王時，失其守而為司馬氏。司馬氏世典周史。
春秋時秦國的司馬錯是司馬遷的一位先人，大約早他180 年，是那位一上台就車裂商鞅的秦惠王的手下大將。司馬錯曾經和主張連橫的張儀，為了攻打韓國還是攻打在今四川成都一帶的蜀國，在秦惠王麵前展開辯論。
張儀認為伐韓可以乘機脅迫鄰近的周王室，然後可以挾天子以令諸侯，是推行王業不可避免的一步。司馬錯則認為“欲富國者務廣其地；欲強兵者務富其民”，而且挾持天子會引起其他諸侯國的反感，正好以此為借口合力抗秦。因此，他主張伐蜀，不但可以從中得到經濟利益，還不會引起六國的注意。
這個有遠見的論調獲得了秦惠王的支持。那時，蜀國正在和位於今重慶一帶的另一個小國巴國相互攻擊，於是秦國很容易就將其吞並了。司馬錯可以說是漢族經營四川的第一人，他勸秦惠王伐蜀時曾說說：“拔一國而天下不以為暴，利盡西海（指今四川成都一帶）而天下不以為貪。”後來秦國能夠兼並六國，他這個富國以強兵的重經濟策略還是起到了很大作用的。