要是提起陽明的家庭，可以用八個字來概括它。哪八個字呢？就是“書香門第，詩禮人家”這八個字。自從他的六世祖性常，一直到陽明，代代都是飽學名士，而且都是氣節高超、孝行純篤的；陽明的一生學問事業，實在受了家庭不少的影響。
陽明最初的祖先，是晉朝光祿大夫名覽，原本琅琊人。覽的曾孫義之（就是我國稱為“字聖”的），少隨父曠渡江，家於建康，不久，徙會稽；後來子孫，又遷剡之華，再遷石偃，複遷達溪。二十三世迪功郎名壽者，重遷至浙江餘姚；由此以後，再也沒有遷移到別處了。
到元末明初時，陽明的六世祖，名綱字性常的。以文學知名，兼有大將之才，尤善識鑒。元末，天下大亂，奉母避兵於五泄山中，少與明誠意伯劉伯溫友善。元亡明興，劉伯溫特薦於朝。時性常年已七十，而齒發精神還如少壯。官為兵部郎中，不久，潮民不靖，遂擢廣東參議；往督兵糧，攜十六歲子彥達往，竟及於難。彥達亦隨入賊中，見父被害，則從旁哭罵求死，賊欲殺之，其賊酋不允，並容他綴羊革裹父屍而歸。禦史郭純奏其事聞於上，為廟祀增城，並錄用彥達。奈彥達痛父之死，願躬耕養母，終身不仕，所以沒有出來做官。
與準字公度，乃彥達子。少秉父教，隱居不出。時朝廷督有司訪求遺逸甚嚴，使者至縣，欲起翁，翁聞亟避，因而墜崖傷足，始免。但又恐有罪，不得已，以子世傑代之。與準長於易，曾著《易微》數千言。
世傑少有聖賢之誌，盡通四書五經，及宋諸大儒之說。代父被征，備邑庠弟子員，旋即無意仕進。母臨終時，囑以家貧宜仕，乃應貢。祭酒陳敬宗薦於朝，未報而歿，著有《槐裏雜稿》數卷。
天敘名倫，世傑子，人稱竹軒先生，這就是陽明的祖父了。他的父親死後，遺留下的僅僅書史數篋。竹軒於書無所不讀，故異常淵博。魏瀚說他：“善鼓琴，每風月清朗，則焚香操弄數曲；弄罷，複歌古詩詞，而使子弟和之。識者謂其胸次灑落，方之陶靖節、林和靖無不及焉。”我們由此也可想見其為人。陽明之所以能成名，受祖父影響頗深，尤其是文學的方麵。