羊祜出身名門，但十二歲時父親就去世了，羊祜為父親守孝遠超一般的禮製要求，後來他侍奉叔父羊耽也很恭謹。
羊祜小的時候曾在汶水河畔遊玩，遇到一位老人對他說：“你這孩子相貌不凡，不到六十歲，必然為天下建立大功。”說完即離去，不知去向。
羊祜長大以後身長七尺三寸，容貌端莊秀美，學識淵博，善於言談。同郡將領夏侯威認為他是個奇才異人，便將哥哥夏侯霸的女兒嫁給了他。羊祜曾被推薦為上計吏；州官四次征召他做從事(9)、秀才；朝中五府都征召他做官，但他都拒絕就職。太原的郭奕曾評價他說：“這真是當代的顏回啊！”
他和王沈都曾被曹爽征召過，王沈勸他應召，他說：“豁出身家性命去侍奉別人，不是容易的事啊！”後來曹爽被殺，王沈因某些原因得免於禍，因而對羊祜說：“我常常記著你以前說的話！”羊祜說：“我當時也沒有想到曹爽有這種下場。”羊祜就是這樣有先見之明而又不誇耀自己的人，因為這種品質，羊祜成為受許多人愛戴的一代名臣。