五四運動引起了中國思想界的空前變化，李大釗、陳獨秀、高語罕等一大批先進的知識分子開始宣傳馬克思主義，積極探索救中國的新道路。
1920年3月，共產國際代表魏經斯基來到北京，同李大釗和張申府就中國的問題進行交談，希望中國建立黨的組織。李大釗介紹他去上海見陳獨秀。此後，上海、北京兩地分頭進行建黨工作。
3月底，李大釗在北京大學發起馬克思學說研究會。在發起人及部分會員名單中就有高語罕的名字。原來，年前高語罕在安徽二農發動學潮，再次被辭退後隨即北上，借以考察北洋政府的狀況。
4月份，陳望道翻譯的《共產黨宣言》出版。高語罕此時正在撰寫《白話書信》，大加介紹：“《共產黨宣言》雖是前幾十年馬克思和恩格斯他們的理想，然而那時已確信必有見諸施行的一日。”
5月1日，上海、北京、廣州勞動團體第一次慶祝勞動節。陳獨秀在上海船務棧房工界聯合會演講“勞動者的覺悟”。同日出版的《新青年》勞動節紀念專號上也發表了高語罕的《蕪湖勞動狀況》。
7月初，陳獨秀在籌備上海共產黨組織時談到：“上海小組將擔負蘇、皖、浙等省的組織發展。”張國燾回憶：“他自己則擔任在南京、安慶、蕪湖等地物色一些青年發起社會主義青年團的組織，他的老友著名學者高語罕那時正在安徽教書，是最先響應的人。”
8月，上海黨組織建立了全國最早的社會主義青年團組織。9月下旬，社會主義青年團在明德裏創辦了青年學校（即外國語學社），實際上是社會主義青年團的機關所在地。高語罕推薦蕪湖五中學生蔣光慈、吳葆萼和安慶法專學生韋素園入學。
10月，李大釗和張申府介紹張國燾成為北京第三個共產黨員。張申府回憶：“北京第一個發展了張國燾，後來又發展了高語罕、劉仁靜、鄧中夏、羅章龍等。”