鹹寧四年（278）冬季，羊祜生病了。這場病來得很凶，自己的身體自己最了解，羊祜預感自己時日無多，便親自到洛陽覲見司馬炎，陳述伐吳大計。到洛陽後，司馬炎特批羊祜坐軟轎到金鑾大殿，還免去叩拜之禮，叫他直接落座。羊祜當麵向司馬炎報告進攻東吳的詳細計劃，司馬炎表示完全讚同。
因為病重，羊祜行動不便，司馬炎又派中書令張華到他府上請教伐吳的具體戰略，羊祜道：“孫皓的暴虐已經瘋狂到了極點，隻要我們大軍壓境，就能不戰而屈人之兵。萬一孫皓死去，吳國出現明君，全國上下人心一致，我們縱然有百萬雄師，想要攻過長江也不太可能，這將是後患啊。”說罷，他又指了指張華，說：“能幫我完成這個誌願的，就是你了！”
張華回去後向司馬炎稟報，司馬炎思來想去，還是打算讓羊祜帶病出征，哪怕是躺在車上指揮作戰。羊祜道：“討伐東吳並不是非要我去不可，功名利祿對我來講也已不重要。但平滅東吳之後，還請陛下多多費心思慮，希望您任命管理這塊土地的官員時，要慎之又慎。”
鹹寧四年（278）冬季，羊祜病逝，終年五十八歲，諡號“成”，一代名將就此謝幕。羊祜去世前，推薦杜預接任自己的職務，司馬炎同意了。
羊祜為人清廉節儉，吃穿用度都很簡單，得到的俸祿一部分資助了族人，一部分賞賜了軍士，家中沒有多餘的財產。他女婿曾經勸他置辦一些產業，以備告老還鄉之用，羊祜卻說，你們知其一不知其二，一旦有了私心就容易背叛公義，你們應該明白我的心意。羊祜一生深得司馬昭、司馬炎父子信任，先後擔任多個重要領導職務，不過他不是個會自恃功勞的人。他提出的所有關於改革、謀略和用人方麵的建議，草稿都會被拿去燒掉，當時的人們都不知道是他草擬出了這些內容；被他推薦後當官的人，也不知道究竟是誰推薦的自己。羊祜經常說：“朝廷發布了官員任命狀，官員卻到推薦他的人家門前去拜謝，以至於形成門第現象。我可不敢這麽做。”