謙卑是一種做人的智慧。社會是一個廣闊的大講堂，它為每一個人敞開了一扇大門，要順利地進入，唯有以謙卑的姿態行走於其間，這樣你才能領略到真正的豐富。相反，那些不懂得謙卑的人總是用一種高高在上的姿態、一張無比得意的麵孔處世，他們總是頤指氣使、專橫跋扈，遲早是會失敗的。
羊祜出身於官宦世家，是東漢大儒蔡邕的外孫，晉景帝司馬師的獻皇後的同母弟。但他為人清廉謙恭，毫無官宦人家奢侈驕橫的惡習。
他年輕時曾被薦舉為上計吏，州官四次征辟他為從事、秀才，五府也請他做官，他都謝絕。有人把他比作孔子最喜歡的學生、一生謙恭好學的顏回。曹爽專權時，曾任用他和王沈。王沈興高采烈地勸他一起應命就職，羊祜卻淡淡地回答：“委身侍奉別人，談何容易！”後來曹爽被誅，王沈因為是他的屬官而被免職。王沈對羊祜說：“我應該常常記住你以前說的話。”羊祜聽了，並不誇耀自己有先見之明，說：“這不是預先能想到的。”
晉武帝司馬炎稱帝後，因為羊祜有輔助之功，被任命為中軍將軍，加官散騎常侍，封為郡公，食邑三千戶。但他堅持辭讓，於是由原爵晉升為侯，其間設置郎中令，備設九官之職。他對於王佑、賈充、裴秀等前朝有名望的大臣，總是十分謙讓，不敢屬其上。
後來因為他都督荊州諸軍事等功勞，加官到車騎將軍，地位與三公相同。但他上表堅決推辭，說：“我入仕才十幾年，就占據顯要的位置，因此日日夜夜為自己的高位戰戰兢兢，把榮華當作憂患。我身為外戚，事事都碰到好運，應該警戒受到過分的寵愛。但陛下屢屢降下詔書，給我太多的榮耀，使我怎麽能承受？怎麽能心安？現在有不少才德之士，如光祿大夫李熹高風亮節，魯藝潔身寡欲，李胤清廉樸素，都沒有獲得高位，而我無能無德，地位卻超過他們，怎麽能平息天下人的怨憤呢？因此希望皇上收回成命！”但是皇帝沒有同意。