太子是國之根本，政權初步穩定之後，立誰做太子的問題就擺在了司馬炎的麵前。
古代立太子講究立嫡立長，也就是立正妻生的年齡最大的兒子。司馬炎的皇後叫楊豔，弘農（今河南靈寶市）華陰人。楊家在東漢時曾經出了四世三公，算得上是世家大族。不幸的是，楊豔很小的時候父母就去世了，好在她舅舅趙俊和舅母對她視如己出。舅母用自己的乳汁喂養她長大，把自己的孩子交給別人養。楊豔被立為皇後之後，感念舅舅舅母的恩德，給趙俊謀了高官，並將趙俊哥哥趙虞的女兒趙粲納入宮中，做了司馬炎的妃子。
楊豔天生麗質，身材修長，皮膚潔白，麵容姣好，而且聰明賢惠，擅長書法，對刺繡、編織等女紅非常嫻熟。之前曾經有個相麵師傅為她相麵，認為她日後肯定會大富大貴。司馬昭聽說楊豔的名頭後，就為當時是世子的司馬炎迎娶了她。司馬炎很是寵愛美豔賢惠的楊豔，夫妻之間相當恩愛。楊豔先後為司馬炎生下了司馬軌、司馬衷、司馬柬三個兒子，和平陽、新豐、陽平三位公主。
司馬軌不幸夭折，司馬衷就成了最年長的兒子，但他不是個智力正常的孩子，從小發育遲緩，智力水平、語言表達能力都比同齡孩子差許多。這讓司馬炎非常擔憂，他把這種擔憂告訴了楊豔。母以子貴，楊豔自然要袒護自己的兒子，她對司馬炎說：“立太子是以年齡論，而不以才能，怎麽可以隨意改換呢？”趙粲也不時地吹枕邊風，替司馬衷說話。在她們的勸說下，司馬炎也漸漸開始覺得孩子還小，通過不間斷的教育也許能迎頭趕上，便打消了之前的念頭。
泰始三年（267）正月，司馬炎封本年九歲的司馬衷為皇太子。司馬炎下詔：“近世以來每當立太子的時候，就會大赦天下，而現在，天下很快就要太平（指滅吳就要完成），應該懲罰惡人，使壞人作惡時不再心存僥幸。這個時候對罪犯一味寬恕，我認為不合適。”於是便沒有頒特赦令。