杜月笙離開上海後，楊虎與吳紹澍自大西路引中國人民解放軍入城，吳紹澍親自把一麵紅旗插上了市政大樓。
黃金榮留了下來，足不出戶，說：“我都82歲了，還能再活幾天？共產黨應該不會難為我，你說是吧？”
最後這句話，他是對二兒子黃源燾說的。黃源燾回答：“沒錯。”
然後，黃源燾把一大捆步槍，瞞著老爹扛進家門。這捆步槍有六七十杆，他搬了幾次才全部搬進來。這些武器是國民黨一個姓戚的潛伏人員存放在黃源燾這裏的。而黃源燾自幼衣錦食玉，隻知道一味紈絝，根本不知道外邊世界的變化。潛伏人員讓他存放一下槍，他就傻兮兮地搬回家來了。
可不曾想，未及幾日，這個案子被偵破了。共產黨幹部進了黃家門，把這一大捆步槍搬出來，問黃金榮：“黃老先生，你家裏藏這麽多的槍，是想用來做什麽？”
“用來做……”黃金榮目瞪口呆，啞口無言。要知道，黃金榮得勢之時，黃公館裏的槍哪一天能少了六七十杆？他已經習慣了在家裏看到這些，突然遭到質問，除了翻白眼，完全無言以對。
政府對他的答複不滿意，要求他寫份自白書。
黃金榮問：“這東西咱沒有寫過格，應該寫些什麽啊？”
幹部說：“就從你兩歲時寫起，寫到你82歲，主要是把你的曆史問題說清楚，你懂得。”
於是，黃金榮就關起門來寫，東一句西一句，能少寫就不寫，能簡單就盡量直白。自白書寫好交上去，不久處分下來了：上級認為黃金榮的一生，對人民和新政權是有罪的，罰黃老板在自家開的大世界掃馬路。
那一天，黃金榮麵無表情，矮胖的身軀猶如一台報廢的老機器，在大世界的門前，一步一挪地掃地。記者趕來采訪拍照，上海各大報都刊登了這張照片。