成仿吾在1924年至1927年期間，任廣東大學（後改名中山大學）物理學教授兼黃埔軍校教官。1925年加入國民黨。1926年3月，成仿吾來到當時的革命中心廣州，任教於廣東大學，同時兼任黃埔軍校兵器處代處長，接觸了毛澤東、周恩來、惲代英、劉少奇、孫炳文等許多共產黨人，以及魯迅等革命文化人士。大革命失敗後，成仿吾經上海、日本，流亡歐洲，堅持革命，學習馬克思主義。1928年8月，成仿吾在巴黎加入中國共產黨，主編中共柏林、巴黎支部機關刊物《赤光》。
1931年9月成仿吾回國後，參與中國左翼作家聯盟活動。於11月初到達鄂豫皖根據地，任中共鄂豫皖省委常委、宣傳部長及省蘇維埃文化委員會主席、教育委員會主任，後又兼任紅安中心縣委書記。1933年到江西瑞金中央蘇區。1934年1月，成仿吾到瑞金參加全國蘇維埃第二次代表大會，被選為蘇維埃中央政府執行委員、中華蘇維埃中央政府教育委員，任黨校政治教員兼高級班主任。從事宣傳教育工作並主持中央黨校，是當時中央黨校唯一的政治教師。會後，成仿吾留在中央宣傳部和中央黨校工作。1934年10月，隨中央紅軍參加長征。他曾同毛澤東、周恩來、徐特立等同誌一起倡議成立延安魯迅藝術學院。
1935年10月到陝北後，任中央黨校高級班教員、教務主任。1937年抗日戰爭爆發後，大批革命青年從全國各地奔赴延安。中央決定成立陝北公學，成仿吾任校長。1939年，他帶領幾千名青年學生奔赴敵後，創建華北聯合大學，先後任華北聯合大學校長、晉察冀邊區參議會議長、中共晉察冀中央局委員、華北大學副校長等。成仿吾從1934年在瑞金中央黨校任教以來，一直從事黨的教育事業。他精通德、英、日、法、俄五種語言，長期致力於宣傳和捍衛馬克思主義。在延安時期，與徐冰合譯《共產黨宣言》。晚年，重新翻譯《共產黨宣言》，並校譯了《哥達綱領批判》《社會主義從空想到科學》《反杜林論》等馬克思主義經典著作，為準確地宣傳馬克思主義做出了重要貢獻。他倡導革命文學，創作了許多作品，對推動新文化運動起了重要作用。