1928年底，語罕的兩個孩子在上海因共產黨的關係被捕，關在漕河徑的監裏。麗立每月要親自去探視他們一次，送點罐頭食品和必需的零用錢。陳獨秀聽說後，總是罵語罕家庭觀念太重。
出黨後的陳獨秀、彭述之、鄭超麟、尹寬、何資深與語罕、李季、王獨清等人，在上海成立一個“無產者社”，出了一個刊物《無產者》，上麵登載的大部分是托洛茨基的論著。
語罕、陳獨秀、彭述之、鄭超麟、尹寬、李季、王獨清、杜畏之、吳繼嚴等也都發表過文章。他們自己認為要左右開弓，即左打斯大林，右打蔣介石，主要目的是打倒國民黨，建立無產階級專政。【注釋1】
俄國1905年革命失敗後，在革命集團中，曾產生“取消派”。他們認為在革命低潮中，應該取消一切秘密工作，通過國民議會等合法手段鬥爭。而其他人則認為取消秘密工作，即是取消革命，故以“取消派”稱呼他們。當時，社會上對陳獨秀等人也以“取消派”來稱呼。【注釋2】
1931年5月，陳獨秀出席中國各“托派”小組織的統一大會，被推選為中國“托派”組織的中央書記。7月，中共中央宣傳部負責人羅綺園被叛徒告密，累及楊匏安等16人被捕。8月，楊匏安遇害於上海龍華偽警備司令部，年僅35歲。羅綺園雖折節自首，後來也被國民黨棄如敝屣，同樣遭到秘密槍殺。
1932年10月，陳獨秀在上海被國民黨政府逮捕，判刑後囚禁於南京。次年1月7日，陳獨秀致信王靈均（語罕當時的化名）說，傳訊畢，“許多青年軍人紛紛持筆墨和數寸長的小紙條”，四麵圍著陳獨秀向他“索書紀念”。【注釋3】
此時，語罕寓居靜安寺路青海路口，因“取消派”馬玉夫至南京自新，遂遷居四馬路神州旅社。馬玉夫與偵探回滬後恰住神州旅社，語罕遂又搬遷到中州旅館，隨後遷至基斯菲爾路兆豐花園對麵之大來飯店。