王荷波是福建人，1901年其母親病逝不到百日，他便離鄉背井，獨自到江蘇江陰的姨父處當兵。清軍水師相當於營長的姨父後來被撤職，王荷波也隻好退役，開始在大連、海參崴兵工廠幹苦力。1916年，他到了津浦鐵路浦鎮機廠當鉗工。後“五四運動”爆發，南京響應北京罷工號召，王荷波在廠裏很有威信，便帶領工人罷工。1921年，中國共產黨成立，作為中共勞動組合書記部北方分部負責人的羅章龍從徐州到浦鎮途中，被當地惡棍所逮，慘遭暴行。富有正義感的王荷波得知後，挺身而出，救下了羅章龍。從此王荷波與黨建立了直接關係，並由羅章龍介紹入了黨。南京地下黨成立第一個黨小組——浦口黨小組，王荷波是組長。這年王荷波40歲，工人們給他家送上一塊大紅匾，上麵四個大字：“品重柱石”。這四個字道出了王荷波的一生人品。
工會領袖李立三曾說過：王荷波是中國共產黨中第一位真正工人出身的共產黨員。王荷波人高馬大，年歲又大，長著濃濃的胡子，為人又好，所以工人們親切地稱他為“王胡子”。1923年他到廣州參加黨的“三大”後，作為中央委員的他，卻到上海出任上海地方兼區執委會委員長，與鄧中夏、茅盾等共同負責上海及杭州、寧波、鬆江、無錫等地方的黨組織發展工作。這年下半年，中共中央從廣州搬回上海後，王荷波出任中央局委員，後任中央監察委主席（相當於中紀委書記）。“八七”會議時，他被正式推選為臨時中央政治局委員。在1924年1月，第一次國共合作正式形成，苦力工出身的他，與毛澤東、惲代英、鄧中夏、向警予等一起成為國共合作的國民黨中央上海執行部成員。1925年，王荷波出席在上海召開的“四大”後，這位參加和領導過北京“二七”大罷工的工運領袖又理所當然地被推薦為中華全國鐵路總工會委員長。在上世紀二三十年代的中國，鐵路工人是全國工人中力量最強的隊伍，王荷波因此在工人和黨中央的威望相當高。