徐霞客的山水之誌，更主要和直接的來源是父親的榜樣、書籍的熏陶和母親的支持。按照家族傳統，徐霞客理當繼續走先輩走過的路，努力攻讀“四書五經”，求取功名，入朝為官，光宗耀祖。
但是，徐霞客受父親的影響，同時也由於超脫的個性，從小不喜歡八股文和世俗功名。他對科舉考試要求的經書不感興趣，卻特別喜歡看奇書異誌，一心隻想徜徉於山水之間探幽覽勝。
徐霞客年少時曾經發出這樣的感慨：丈夫當朝碧海而暮蒼梧，乃以一隅自限耶？
大意是說，男子漢大丈夫應該遍遊大好河山，怎麽能夠局限於一個小角落呢？他常說“餘髫年蓄五嶽誌”，就是說“我幼年就懷有遊曆五嶽的誌向”。
徐霞客家正廳前麵天井東側有一棵高大的羅漢鬆，亭亭如蓋，枝繁葉茂。這棵羅漢鬆年齡比徐霞客還大。據說，徐霞客的祖父曾於京城帶回一個盆景羅漢鬆，直到徐霞客出生後才把盆裏的羅漢鬆移栽到庭院裏了。
隨著徐霞客一天天長大，這棵被移栽到庭院的羅漢鬆，也得地氣之盛，生機勃發，不斷壯碩成長。於是，徐霞客就從這棵羅漢鬆身上獲得了某種神奇的感悟與力量，他立定誌向：不做盆中景，要做淩霄鬆。
說來也神奇，這棵並不算高的羅漢鬆，後來其樹幹粗到需要兩個人才能合抱，而且上下幾乎同粗細，通直而立，無枝無蔓，頂如綠雲華蓋，蒼翠欲滴。人們說，它曾在某個電閃雷鳴的夜晚被攔腰劈斷，遭受重創；然而，它卻依然挺立著，並且後來從折斷的創口處發出幼芽新枝，昂揚地宣示著它的生命力。
徐霞客從小就很聰明，最喜歡涉獵曆史、地理和探險遊記一類書籍。為了不被塾師發現，他常常在令人厭煩的經書的遮掩下偷偷閱讀這類書，讀到入神之處，不免眉飛色舞。