黃家世代居住在浙江餘姚，祖上沒有出過什麽人物。黃金榮的父親名叫黃炳泉，曾經在餘姚縣衙門做捕快，是一個最不起眼的小角色。黃炳泉比較機靈、聰明而且生性好動，身長而挺拔，稍瘦而有精神，一對藏在厚眼瞼內的眸子，斜視人時射出銳利的眼光，像要把人看透，直看到心裏。
他讀過幾年私塾。家人希望他長大後能混個一官半職，好為黃家光宗耀祖。他不喜歡木樁般在公堂上直挺挺呆立幾個小時，連打板子也輪不到。
黃炳泉靠自己的努力，再加上眾捕頭栽培和弟兄們相幫，不到3年，做出很多成績，有了一些名氣，成為餘姚衙門中的英雄。
到黃炳泉在衙門做事的第四年春天，蘇州出了件驚天大案。有一位富豪家裏失竊了價值連城的財寶。當地派出捕快四處偵查，卻毫無頭緒。蘇州知府聽說餘姚縣有個黃炳泉，是破案能手，就特地請他到蘇州協助破案。
黃炳泉單槍匹馬前來到蘇州，雖然人地生熟，苦難很多，可是他心裏想，要借這個機會一展身手，進一步鞏固自己的捕快地位。他不辭辛苦，跑遍蘇州以及附近各地，尋找各種線索，追查任何一點蛛絲馬跡，最後掌握了確切線索，並大膽混進匪窩，終於被他們一網打盡，讓這個驚天大案水落石出，古董悉數追回，為蘇州府立下大功。官府讚賞有加，百姓鼓掌。最後留在蘇州衙門當差，成了一位捕快頭目。
這對黃炳泉來說，無異連升三級。在家鄉的家人也倍感榮耀。這個時候黃炳泉已到談婚論嫁的年齡，便有了在蘇州安家立業的打算。在熟人的撮合下，與一鄒姓蘇州姑娘成親。第二年生下女兒阿寶，過了幾年又得一子，取乳名“小和尚”，正式名字按“金”字輩份叫“阿金”。這就是後來叱吒上海灘的黃金榮。