王陽明回到家鄉餘姚以後，築室於四明山之陽明洞。洞在四明山之陽，故曰陽明。陽明先生愛其風景雅致，隱居於此，並自號曰“陽明”，世人也因此而稱之為“陽明先生”。
王陽明曾在結婚當夜在鐵柱宮內和道士對談，道士還教給他神仙導引之術。在當地人的眼裏，陽明洞是神仙聚會之所，所以王陽明才會選擇到此洞中靜坐，可以看出，王陽明身體內想出世的念頭又萌發了。
前文已述，王陽明或多或少存在著一些南方人的地區性特質，一旦遇到困難，就想逃離塵世，歸隱山林。雖然他的這一特質還不是那麽強烈，但是如果一直沉迷於道家或佛氏的話，那他最終成為出世之人也未可知。