明成化八年（1472）九月三十日，王陽明出生於浙江省紹興府餘姚縣（今餘姚市）。餘姚位於杭州灣南岸，風光秀麗，南有四明山和天台山，西南有會稽山，姚江穿縣而過，因此陽明學又被稱為“餘姚之學”“姚江之學”。
紹興府古屬吳越之地，氣候溫潤，土地肥沃，物產豐饒，是觀光覽勝之佳所，自古以來就是江南的一處文化中心。受當地風土的影響，餘姚的文化藝術向來興盛，仰慕道家仙士的玄虛靜退之風盛行，才子名士輩出。餘姚有一座龍泉山，王陽明之父龍山公曾經在那裏讀書，王陽明晚年也曾在山腰處的中天閣傳經授業，教誨弟子，興盛時期門人弟子一度多達三百多人。
王陽明是餘姚四賢人之一，其他三位分別是東漢的嚴子陵、明末清初的朱舜水和黃宗羲。
嚴子陵，名光，字子陵，年輕時便負有盛名，曾與東漢光武帝劉秀一起在太學學習。劉秀登基後，他便改名易姓，隱身不見。
光武帝深知他的才能，想起用他，派人四處尋找，最終將其尋得。使者三次登門懇請，他才肯出山。嚴子陵抵達京都洛陽後，光武帝馬上來到他寄宿的館舍拜訪，是夜二人同榻而眠。相傳嚴子陵熟睡後把腳壓在了光武帝的肚子上，這本是犯上之罪，可是光武帝替他辯解說：“朕與故人子陵共臥耳。”以此訓誡那些企圖責難嚴子陵的臣下。
光武帝授予嚴子陵諫議大夫一職，嚴子陵不肯接受，仍然回到富春山去過田園耕種生活，直到八十歲而終。嚴子陵的高風亮節贏得了後人的敬重，龍泉山上現在還留有碑文，記曰“漢高士嚴子陵”。
王陽明，幼名雲，後改名守仁，字伯安，是陽明學的開山之祖。他曾在會稽山陽明洞建造草堂，世稱“陽明先生”或“陽明翁”。因對國家有大功，生前被封為新建伯，死後追封為新建侯，所以他又被世人稱為“新建伯”“新建侯”或“王新建”，亦稱“明翁”。