徐家新添男兒，自是喜氣洋洋，家裏為男孩取名弘祖，字振之，從這個名字中就可以看出徐家人對這孩子弘揚和振興家業的期望。但是，大家還是習慣叫他“霞客”，希望他一直帶有仙氣，長大後能夠有不一般的大作為。
徐霞客年幼時，體態修長，瑞眉端正，雙顱峰起，首額飽滿，雙目炯炯，是個好學好禮的聰明孩子。他五歲就讀於私塾，不久就能文能詩。
徐氏的十一世祖徐頤，曾經官至中書舍人。後徐頤因病回鄉，在空閑的時候，親自督促子孫們的學業。他是一個非常嚴厲的長輩，從來不讓孩子們穿奢華的衣服，也不讓他們整天大魚大肉地吃喝和沒日沒夜地出去玩耍。
徐頤授課的學館在徐府的後園中，裏麵有很多的書籍。他每天親自授課、檢查作業，早晨上課一直到深夜才結束。他還不惜重金為子孫們聘請名師，其中有鬆江狀元錢鶴灘、吳中才子文徵明的祖父、翰林檢討張亨的父親等。可見徐家對教育的重視程度。
然而，徐家後人的仕進之途並不順利。在古代，選拔官吏主要靠科舉考試，即便有人通過其他途徑當了官，說起來總是讓人有些瞧不起，在同僚麵前也抬不起頭來。
徐霞客的太祖徐元獻天資穎異，十歲能賦詩，長大後學習舉業，並博覽古經史傳、秦漢文辭。可是參加鄉試時，居然意外地落第而歸。他非常失望，最後竟然一病不起，二十九歲就不幸英年早逝。
徐元獻的兒子徐經是徐霞客的高祖父，他雖然很小就沒有了父親，但是他在學業方麵十分上進，據說鑽研學問時，即便大廈將傾、金珠委地，也不能讓他分心。
為了繼承父誌，金榜題名，徐經將一切家計都交給母親和妻子，自己到“萬卷樓”苦讀，經常與誌同道合的人辯論學習，不知疲倦。功夫不負有心人，弘治乙卯年（1495 年），徐經鄉試中舉。