1916年秋，高語罕經留日同學劉希平推薦，到安徽省立五中任國文教員。別的教員下了課便與學生沒有了關係，而他沒事便在自修室裏和學生們談社會、談國家、談文學、談哲學、談讀書方法。由於高語罕在學生中有崇高的威信，第二學期開始便兼任學監。
此時高語罕自律既嚴，對學生要求也很嚴格。比如，規定學生不準留分頭，不準穿緞子鞋，不準抽煙，不準上街看戲等；革除國文、倫理、修身課中的陳腐內容，加進以《新青年》等進步刊物宣傳的新思想、新文化。
高語罕還熱心幫助學生組織各種團體，如圖書館、遊藝室、社敬團、義務學校等等。1917年秋，他和劉希平本著民主自由的原則組織學生自治會，讓學生參與學校管理。這是安徽第一個學生自治會，主要任務是管理學校經濟，評論教師講課能力，審查學校財務，監督廚房買菜，管理學校衛生等。
為了使工人受到教育，1917年下半年，他和劉希平又創辦了“義務學校”和“工讀學校”。學校男女都收，對象是人力車夫、紗廠工人等。後來，他又自籌資金，創辦了兩所商業夜校，主要招收各商店店員、學徒及其子弟。
他的這些學生對於後來的國民革命有相當貢獻，如葉挺獨立團營長曹淵、孫一中等烈士都是工讀學校的學生。蕪湖工讀學校的創建在社會上引起了強烈的反響，當時上海《民國日報》副刊《覺悟》發表文章稱蕪湖工讀學校“在蕪湖是一個年齡最輕、活潑可愛的孩子，他的前途希望很大”。
1919年5月5日，北京爆發五四運動的消息由電報傳到蕪湖《皖江日報》社。副刊編輯郝耕仁立即托社長譚明卿之子、省立五中學生譚邦傑將這份電報送給高語罕。他立刻喊起還在睡夢中的學生：“要響應北京運動，光一個學校不行，今天你們到各校聯係。”