上海平民女校關閉後，為了培養更多的幹部，陳獨秀等決定創辦一所高等學校。這時，正值私立東南高等師範學校爆發風潮，校長灰溜溜地離開學校，學生們為繼續求學，要求改造學校。
時任靖國軍總司令的於右任在革命失敗後從甘肅到上海，在《民國日報》發表文章，提出“欲建設新民國，當先建設新教育”。私立東南高等師範學校的學生們讀了，非常讚同，請《民國日報》總編邵力子代為請求於右任為校長。
於右任考慮到辦學經費及教員等問題，有些躊躇。後經邵力子、柳亞子、楊杏佛、葉楚傖等人促勸，於右任同意擔任校長之職，並將學校命名為“上海大學”。由於上海大學沒有在北京政府立案，貴族大學看不起它，稱它為“野雞大學”。
當時孫中山從廣東蒙難脫險，對上海大學頗為關注。1923年春，他親自批準撥萬元資助上大。國民黨明令上海大學為黨立學校，經費由國民黨中央黨部補助。五卅運動時，上海大學學生進行募捐支援罷工工人，當局開槍打死了學生黃仁，公共租界當局下令上海大學停辦。
“高語罕是共產黨領袖陳獨秀的鄉親。正如江亢虎所說的，安慶是出人才的地方。獨秀常對人說，語罕是一個忠實的熱烈的勇敢的精幹的戰士。1925年秋末冬初的時候，他從德國匆匆回到上海來。這是因為上海五卅慘案起後，各地民族運動高漲，中國共產黨需要增加幹部人才，所以才從德國把他找回來。因為他是獨秀的鄉親，可是共產黨最初成立時就加入的。所以他一到上海，立刻就被派在共產黨中央宣傳委員會工作。那時宣傳委員會指揮下，有一個上海大學，所以老高也就在上海大學擔任教授。”【注釋1】
語罕初到上海大學時，學校剛剛遷至閘北青雲路師壽坊臨時校舍複校，成為弄堂大學。弄堂口掛著於右任書寫的“上海大學臨時校舍”的牌子。語罕擔任政治學的講演，並在上海大學附屬平民學校任課。