龐德公一直是過著隱居的生活，他隱居在襄陽城外的峴山南沔水中的魚梁洲上，與妻耕作為生，自給自足，耕作之餘讀書著作，在荊州素來有名望，可以用德高望重來形容。
劉表曾經親自登門拜訪龐德公，卻被龐德公拒絕。
劉表當時就對龐德公道：“你保全了你一個人，為什麽不保全天下呢？”
龐德公笑著回答劉表：“鴻鵠在高林之上築巢，晚上有棲息的地方，龜黿在深淵下麵作穴，晚上有歸宿，人的取舍與行為舉止也是人的巢穴，萬物都是隻為各自得到棲宿的地方，所以天下並不是我所要保全的。”
龐德公以耕作為業，所以他的妻子兒女在前耕耘。劉表指著他的家人問龐德公：“先生住在田畝之中，不肯出來做官，有什麽能夠遺留給子孫呢？”
龐德公回答：“世上的人追慕名利，隻會留給子孫危險；而我留給子孫的是安居樂業，隻是遺留下來的東西不同罷了。”
其人淡泊名利如此，所以為人所尊重。
劉禪一臉笑意的望著龐德公，龐德公在劉禪的頭上輕輕敲了幾下：“頑劣之徒，倒也聰慧少見，龐士元能收你為徒，亦是他的福氣。”
“你就坐我旁邊吧，與德操換一下位置。”龐德公對劉禪說道。
劉禪看向龐德公身邊一直閉目養神，不曾出言說話的白須老者，不由驚到：“原來是水鏡先生，小子失禮了。”
劉禪司馬徽深深鞠躬作揖，司馬徽睜開眼，對劉禪道：“當年見你還是抱在懷中的小兒，時隔數年卻已經長成了妖孽了。”
“先生這是對我的誇獎吧？”
“早有聽聞孔明和士元講你的事跡，言你聰慧如妖，如今一見，倒也沒有誇大。”司馬徽道。
劉禪笑嘻嘻的與司馬徽換了個位置，坐在龐德公和司馬徽的中間，司馬徽一直閉目養神，而龐德公則時不時的與劉禪說一句話，最後開始考校起劉禪的功課來了，這讓劉禪頭大如鬥。