是時候考慮滅吳大計了。
公元269年，晉武帝司馬炎一口氣任命了三名軍區司令員，分別是：羊祜（hù）都督荊州諸軍事，鎮守襄陽；衛瓘都督青州諸軍事，鎮守臨淄；司馬伷都督徐州諸軍事，鎮守下邳。在這三大軍區司令員中，以羊祜成就最大。
羊祜出身名門望族，母親是名儒、史學家蔡邕的女兒，姐姐嫁給了司馬師，因此與司馬氏也算沾親帶故。他所鎮守的荊州軍區曾是魏、蜀、吳三國爭奪的一個焦點，百姓有時隸屬這個政權，有時隸屬另一個政權。羊祜到任後，采取了很開明的政策，凡是歸降的吳人，想重新回到吳國的，一概聽憑其離開。
由於東吳剛剛發兵攻打荊州，邊界線上戰事十分緊張，軍隊進入一級戰備，日夜巡邏以防不測。羊祜判斷東吳軍隊難有大作為，與其把士兵用於巡邏，不如裁減下來開荒種地。他敏銳地發現，晉軍最大的問題不在於兵力多寡，而是糧食不足。他剛到荊州時，軍隊的存糧十分緊張，隻夠吃三個月。後來他大力發展屯田政策，削減常備軍，精兵簡政，軍糧儲備越來越多，最後竟然可供部隊吃上十年！
雖然身為軍區司令，但羊祜從不穿鎧甲，經常身著輕裘，侍衛也隻有區區十幾人。他總是以一種親善的形象出現在眾人麵前，沒有將軍們慣有的粗魯或殺氣，因此在江漢一帶深得人心。
皇帝司馬炎對羊祜很是信任，多次跟他商議進攻東吳的計劃。羊祜指出，進攻東吳必須充分利用長江上遊的優勢。以前曹操、曹丕南征，每每望長江而興歎，北方騎兵雖驍勇，無奈有大江阻斷南北。自從奪取巴蜀之地後，晉國便控製了長江上遊，可以順流而下，直搗吳國首都。不過，繼承魏國軍事遺產的晉王朝在水師上仍然不是東吳的對手，羊祜認為必須組建一支強大的長江水師，他向司馬炎推薦一個人選：王濬。