晉武帝司馬炎建國以後，打出了一係列的施政“組合拳”，太子也定下了人選，國內形勢一天天向好，何時解決東吳、統一全國，就成了首先要麵對的問題。東吳憑借長江天險，讓多少英雄豪傑飲恨江邊，近世曹操赤壁之戰的慘敗也提醒著司馬炎，伐吳之戰不能操之過急，要先做準備工作，慢慢來。
泰始五年（269）二月，司馬炎命當時任尚書左仆射的羊祜（hù）為都督荊州諸軍事，也就是相當於荊州軍區的司令長官，鎮守軍事重鎮——襄陽（今湖北襄陽市）。
這裏說的尚書左仆射，有必要簡單介紹一下。
尚書台在漢朝時是內廷，控製在皇帝手中。漢獻帝建安十三年（208）設置了丞相的職務，曹操任丞相，把屬於內廷的尚書省正式遷移到外朝，直屬於丞相，對丞相負責（實際自建安元年曹操為錄尚書事起，他就已經把尚書台掌握在自己手裏了）。尚書台主要管理國家社會事務，其組成一般有：錄尚書事、尚書令、尚書左右仆射、各曹尚書、尚書左右丞、尚書郎、尚書都令史、令史、書令史、書吏幹。錄尚書事一般由朝中的重要人物兼任，統領尚書台。尚書令是尚書台的正職，左右仆射是尚書台的副職，各曹尚書是六個內設部門的領導，這幾個官職放在一起，有“八座”之稱。古代以左為尊，此時羊祜身居尚書左仆射的位置，已經算得上是位高權重了。
羊祜，字叔子，出生於曹魏黃初二年（221）。泰山羊家在當時是大族，世代都是拿兩千石俸祿的官（相當於部長級），難得的是，他們代代清廉，在世人中享有美譽。羊家到羊祜的時候，已經是第九代了。他父親叫羊衜（dào），曾任上黨太守；母親蔡貞姬，為東漢大儒蔡邕的女兒，蔡文姬的妹妹；他的姐姐叫羊徽瑜，是司馬師的妻子。