王綱是王壽的五世孫，《王文成公全書》的《世德紀》中有其傳記。王綱之後的諸位祖先的品行，都或多或少對王陽明造成了一定的影響。王綱是王陽明的六世祖，《明史》卷二八九的《忠義傳》中也有其傳記。以下將根據《世德紀》中收錄的張壹民先生撰寫的《王性常先生傳》來介紹王綱的生平。
王綱（1302—1371），字性常，又字德常，弟弟字秉常，又字敬常，二人皆以文學造詣高而聞名於世。王綱有識鑒之才、文武之功。元末，王綱為避兵亂，和母親避居於五泄山。一天，一位道士夜宿王綱家，王綱發現這位道士的氣質不同尋常，應該是一位得道之士，所以對他禮敬有加。
王綱問他：“君必有道者，願聞姓字。”
道士回答說：“吾終南隱士趙緣督也。”
二人徹夜長談，趙緣督教給王綱占卜之法，並為王綱占卜說：“公後當有名世者矣。然公不克終牖下。今能從吾出遊乎？”
王綱因為家裏還有老母，所以麵露難色。道士笑著說：“公俗緣未斷，吾固知之。”然後飄然而去。
王綱還與因軍功卓著而被明太祖朱元璋封為誠意伯、以詩文馳名於世的劉伯溫（劉基）是至交好友。
劉伯溫是一位著名的儒學家，廣涉經書和史書。他中過元代的進士，且一度出仕為官，後來辭官歸鄉，隱居在家鄉青田。元至正二十年（1360），劉伯溫接受朱元璋的邀請出山，向朱元璋獻出“時務十八策”。他曾為輔佐明太祖平定天下立下汗馬功勞，官職不斷升遷，最終升任為弘文館學士。明洪武三年（1370），劉伯溫在家鄉去世。劉伯溫是開國文臣，與宋景濂並稱為“一代文宗”，其詩歌也足以和高季迪（高啟）比肩。
當劉伯溫還是卑賤之身時，曾經常造訪王綱。王綱對他說：“子真王佐才，然貌微不稱其心，宜厚施而薄受之。老夫性在丘壑，異時得誌，幸勿以世緣見累，則善矣。”