對於當時上海的形勢，共產黨上海的領導人已經察覺到。但是，以他們當時的實力和能力，也確實無法看穿“中華共進會”的陰謀。他們甚至錯誤地以為，上海青幫一直保持中立態度。這個錯誤的認識，直接導致了工人的慘敗。而為此第一個付出代價的就是時任上海總工會委員長的汪壽華。
汪壽華在上海工人中的威信非常高，而且頗具領導指揮能力。他在領導工人進行起義的時候，已經開始與國民黨和上海當地的大亨們接觸，並積極奔走。等到蔣介石到達上海之後，他已經對國民黨的反共有所察覺，所以更加積極地對杜月笙進行勸說。杜月笙為了不打草驚蛇，非常配合汪壽華，甚至還經常給他透露一些小消息，取得他的信任。
4月10日晚上，黃金榮忽然接到一個電話。
“黃兄，我是楊虎。”
“楊司令啊，這麽晚了不知道有什麽事情？”當時的楊虎已坐上淞滬警備司令的交椅了，所以黃金榮改稱楊處長為楊司令了。
“你那邊準備得怎麽樣了？”
“一切準備就緒，就等您的一句話。”
“好，今天晚上就行動。”
黃金榮沒想到事情來得這麽突然，立刻打電話通知張嘯林和杜月笙，開始準備行動。黃金榮脫去長衫，穿上藍衣短衫褲，袖子管上纏著一個“工”字符號，腰間插一支手槍，儼然打手頭頭一個。之後，他開始一組組的安排手下，張嘯林單獨帶著自己的弟兄去南市三山會館。南市的三山會館是工人武裝糾察隊的三處大本營，又是上海工人第三次武裝起義南市指揮部，總指揮周恩來、工會委員長汪壽華的住處，張嘯林要親自指揮他的流氓隊伍，妄想一舉攻下會館，撈個清共反共的頭功。
時間正是淩晨，整個上海還沉浸在一片黑暗之中。忽然，閘北寶山路一帶突然響起槍聲。一群群身穿藍衣短衫褲，臂纏“工”字符號，手持武器的地痞流氓，打著工人旗號，突然圍攻商務印書館工人糾察隊與東方圖書館工人糾察隊總部。雙方發生交火，之後鬥爭蔓延，打了整整一夜。一群“共進會”的打手，持著凶器，借著黑暗的掩護，在張嘯林的指揮下，偷偷摸摸地撲向總部。11日早上，北伐軍第二師的一個團先是抓了六十來個冒充工人武裝的流氓，再耍陰謀詭計，繳了工人糾察隊的械。