晉鹹寧二年（276）十月，司馬炎恢複了平南將軍羊祜以前的職權，任命他為征南將軍，兼開府儀同三司，將軍府就設在襄陽。
羊祜上書司馬炎，請求伐吳：“先帝（指司馬昭）順應天時，在西部鏟平了巴蜀，南部和孫吳交好，我朝得以休養生息，百姓有了樂安之心。但東吳背信棄義（指公元266年孫皓和晉朝斷交），使兩國邊境重燃戰火……不滅掉東吳，人民就不會得安寧。當年平蜀時，天下人都認為應當一並滅了吳國，而滅蜀之戰距今已經過去十三年了。
“曆史的經驗表明，憑自然險阻得到存活的國家，當它的實力與敵國相差不大時，尚且足以自保，一旦敵人力量高於它，即使有高士謀劃，天險也會被攻克。蜀國的邊境可謂一夫當關千人難進，稱得上險惡了，然而當我軍前進時，蜀國就好像連一道籬笆都沒有。我軍乘勝而入，如狂風席卷殘雲一般，直接抵達成都，漢中一帶的蜀兵像鳥一樣躲在巢裏不敢出動。他們並非沒有作戰之心，而是力量無法與我軍抗衡。目前，長江、淮河的險惡不會超過劍閣(1)，孫皓的暴虐卻超過劉禪，東吳人民的苦痛也更甚蜀國，而我們軍隊現在兵強馬壯，物資充足，不趁此機會平吳，卻隻固守邊境，使士兵役夫日夜辛苦於徭役，不是長久之法。
“現在如果派梁州、益州的部隊水陸並進順長江而下，荊、楚之兵進逼江陵，平南將軍胡奮、豫州刺史王戎直指夏口，徐州、揚州、青州、兗州的部隊也同一時間共擊建業，以屈身在東南一角的吳國，想要抵擋從四麵八方攻來的大軍，必然會兵力分散，處處告急，國內人心惶惶。到時候隻要有一處突破，必使吳國上下震動，縱然有奇才出現也不能拯救其滅亡之勢。且孫皓凶殘成性，朝中早就上下離心，一旦我軍兵臨城下，必然會有人響應，出城投降，不會拚死抵抗，這是可以預見的。”