瓊山海氏是海南望族大戶，曆來以詩禮傳家。史載，海瑞父“警敏不羈，不事家人生業”，應是個性很強的家庭叛逆，不務正業，致使家道中落。海瑞四歲，父親即去世了，全部家庭重任都落到了海瑞母親，年僅二十八歲的謝氏頭上。
孤兒的性格往往是相似的，特別是那些早年喪父的人，母親們會把全部希望都寄托在他們身上，對其嚴加管教。由於母親的日夜灌輸，他們的道德感比常人要強烈，異常孝順。王莽、王安石、蔣介石、胡適，這樣的例子不勝枚舉。以胡適為例，他四歲喪父，自述母親“雖則並不知書識字，卻把她的全副希望放在我的教育上”，“每天天還未亮時，我母親便把我喊醒，叫我在**坐起。然後把對我父親所知的一切告訴我。……她對我說我唯有行為好，學業科考成功，才能使他們兩老增光；又說她所受的種種苦楚，得以由我勤敏讀書來酬償”。一旦稍稍貪玩，立刻是一頓痛打，打了之後，又是一場痛哭，哭自己命運的悲慘，守寡的艱難，讓屁股疼痛的胡適臉上發燒。在母親的教誨期望下，胡適小小年紀就成了老夫子，終日苦學。長大以後，終生克己，並且極為孝順，甚至為母愛而犧牲了自己的愛情。
海瑞的經曆如出一轍。隻是他的性格較之一般孤兒，尤為剛強固執，甚至不無剛愎色彩，這就要進一步從他母親身上找原因了。浪子的妻子往往是節婦。海太夫人的嚴守婦道，刻苦度日，是非常有名的。她“先後苦針裁，營衣食，節費資，督瑞學”，直到海瑞入仕多年之後，還是每天從早忙到晚，不稍歇息。她本是個嚴厲無生趣的人，加以青年守寡，心態難免有些失常，視兒子如生命，海瑞都三四十歲了，還是和母親同住一個房間。海瑞在《乞終養疏》中說：“母之待臣，雖年當強壯，日夕相依，不殊繈褓。”