東漢蔡邕的外孫羊祜是晉景帝司馬師的皇後的同母弟，但是他沒有把這些光環戴在自己的頭上，他為人清廉、謙恭，毫無官宦人家子弟奢侈、驕橫的惡習。
他年輕時曾被舉薦為上計吏，州官四次讓他擔任從事、秀才，五府也請他做官，他都一一謝絕了。
在曹爽專權時，曾打算任用他和王沈。王沈高興地勸他與自己一起應命就職，但是羊祜卻淡然地回絕了。後來曹爽被誅，王沈因為是他的屬官而遭到免職。
王沈很佩服羊祜的先見之明，但是羊祜並不以為然地說：“這不是預先能想到的。”
司馬炎稱帝後，因為羊祜輔助有功，要為他加官晉爵，但他堅持推辭，所以皇帝隻能把他由爵晉升為侯。他對當時前朝有名望的大臣王佑、賈充、裴秀等，總是十分謙讓，在他們麵前從來都是恭恭敬敬的。
後來因為他都督荊州諸軍事等功勞，要被加官到車騎將軍，地位與三公相同，他上表堅決推辭，說：“我做官的時間很短，不過才十幾年，做到這樣高的位置會讓我的心日夜都戰戰兢兢不得安寧，把榮華當作憂患。況且我是一個外戚，應該警戒受到過分的寵愛，但陛下屢屢降下詔書，給我太多的榮耀，我真是承受不起。其實有不少才德之士，如光祿大夫李熹高風亮節，魯藝潔身寡欲，李胤亂清廉樸素，這樣的人都沒有獲得高位，而我比他們的德才都差得遠，地位卻超過他們，這怎麽能讓天下的人覺得公平呢？所以，臣乞望皇上收回成命！”但是皇帝沒有同意。
後來，朝廷又想封他為南城侯，但羊祜堅持不接受。每次被晉升，羊祜都態度懇切地辭讓，朝中官員都對他很敬佩，大家一致認為他應居宰相的高位。然而羊祜雖掌握機要大權，但他對於權勢卻不貪婪，也從不鑽營。他推薦別人晉升的時候也從不張揚，所以被推薦的人大都不知道是羊祜舉薦自己。