黃家世代居住在浙江餘姚，黃金榮之所以最後能成為上海灘的大偵探，與其家世是分不開的，從其祖父開始黃家就混跡於警界，不過當時應該稱之為巡捕或衙役。
黃金榮的祖父最早就是餘姚衙門的衙役。黃金榮的爺爺，在餘姚衙門裏專管打板子、上夾棍，執行刑罰，他在衙役裏地位最低，沒有什麽實權，起早貪黑圍著縣衙幹活，收入卻不多，成為了縣衙裏最不起眼的小角色。
黃金榮的爺爺這一幹就是30多年。
縣衙的官老爺是走了一撥又一撥，換了一茬又一茬。這些老爺們，升官的升官，發財的發財，唯獨黃金榮的爺爺沾不上光，依然幹著自己的苦差事，當年的挺直的腰板已經不行，曾經響亮的聲音也早已沙啞，眼看一天天老下去，碌碌無為地終其一生，但是，黃家終於迎來了時來運轉的時候。
又一次官員的輪換，來了一位新老爺，這位新老爺看黃金榮的爺爺老實肯幹，又經驗豐富，就提拔他當了捕快。這可是個肥差，又威風又有錢賺，黃金榮的爺爺心裏是著實高興，仿佛年輕了十幾歲，正準備大幹一番，可是天不遂人願，隻當了一年，他就忽然生了場重病。
預料到自己命不久矣，他苦苦央求縣老爺，懇求讓自己的兒子黃炳泉接替他的位子。新官也心生惻隱，就準許了他的請求，於是黃金榮的父親黃炳泉一步登天，做了捕快。
黃炳泉子承父業，成為了捕快。他為人機靈變通，處世圓滑，很得上司的青睞，加上天生有幹捕快的靈性，所以，雖然隻幹了3年，就已經在縣衙裏混得如魚得水，小有名氣。隨後他破了一件驚動朝野的刺殺案，更使得黃炳泉聲名鵲起……
當時的兩江總督叫馬新貽，為人貪得無厭，貪財貪色無度，任意盤剝人民，魚肉鄉裏，很快成為一方豪富，他的倒行逆施引得民怨沸騰，人人必得而誅之以為快。