羊祜一直有滅掉吳國的心願，在荊州做官時，就開始部署和訓練軍隊，為有朝一日滅吳做準備。
公元276年十月，晉武帝封羊祜為征南大將軍，此時羊祜的滅吳計劃已經籌備了七年。晉軍兵強馬壯，吳國大將陸抗已經病死，吳國君主孫皓民心盡失，千載難逢的機會終於來了。於是羊祜上表晉武帝，請求立刻對吳國發起進攻。
晉武帝非常支持羊祜的建議，但很多大臣都表示反對。他們覺得當務之急應該先平定西北地區的鮮卑人叛亂，進攻吳國勢必會分心。聽到這種說法，晉武帝又忍不住猶豫起來。
羊祜堅決地再一次上表說明利害關係：平定鮮卑族叛亂和攻打吳國並不矛盾，如果一舉擊敗吳國，鮮卑人勢必不敢輕舉妄動，邊關反倒會平靜下來。
無論羊祜怎樣言之鑿鑿，晉武帝就是猶豫不決，朝中的大臣也難以被說服，羊祜悲傷地說：“上天送給我們這麽好的滅吳機會，我們卻白白放過，我們的子孫後代是會譴責我們的！”
公元278年，懷著對伐吳的耿耿心願，病入膏肓的羊祜再一次上表晉武帝，請求伐吳。這次終於打動了晉武帝，但羊祜卻身染重病。羊祜知道自己已經不行了，臨終前舉薦了大將杜預接替自己的職務。同年十一月，羊祜去世，他的繼任者杜預在後來的滅吳計劃中大顯身手，也算替羊祜完成了心願。
相關鏈接：
羊祜與墮淚碑
羊祜去世時，晉武帝身著素服放聲大哭，因為天氣寒冷，晉武帝的鼻涕眼淚都凍在了胡子上。荊州的百姓們聽說羊祜的死訊後，紛紛前來吊唁送葬，連東吳的將士們也為這位仁義的晉國大將悲傷不已。羊祜去世兩年後，晉軍終於打敗了東吳，晉武帝想起羊祜忍不住流下眼淚，說：“這都是羊祜的功勞啊！”為了紀念羊祜，老百姓們在羊祜生前最喜歡的峴山上立碑，年年祭祀。因為一看見羊祜的碑人們就忍不住落淚，這塊碑也得了“墮淚碑”的名號。