1919年7月，鑒於語罕在蕪湖組織學生運動時的巨大影響，安徽督軍倪嗣衝及皖南鎮守使馬聯甲準備對語罕及學生采取行動。
馬聯甲的參謀長儲耕野與語罕在日本時認識，他雖不是同盟會會員，卻讚成愛國運動，就規勸馬聯甲，並向語罕報信。後來，蕪湖官方采取釜底抽薪的辦法，突然宣布學校提前放假，來瓦解學生運動。
潘光祖對語罕比較忌恨，他告訴劉希平：“語罕在學校是有功的，但倪嗣衝將軍有命令給馬鎮守使，可能對他很不利，對學校也不利。”
劉希平轉告語罕，語罕平靜地說：“如此，我離校為好，絕不拖累學校。”
語罕離開五中的時候，二十多個學生來送他。潘光祖良心未泯，知道倪嗣衝、馬聯甲在半路對語罕有不利的行動，也匆忙披著一件衣服，穿了一雙拖鞋跑來，問語罕怎麽走。
語罕說：“走南京、蚌埠，從淮河坐船到正陽關。”
潘光祖說：“語罕，我勸你坐船到合肥，然後從合肥走旱路到正陽關，這樣安全一些。”
劉希平和學生們知道語罕此行危險，當下每人出一塊錢給語罕送行。大家來到江邊一個酒樓上，叫了兩桌酒席，買了兩瓶白蘭地。希平斟酒敬語罕，語罕本不會喝酒，因感情激動，連喝三杯，滿臉通紅。
希平說：“我們共學三年，古人說，人之相知貴在知心，今天分別，有幾句話要說，國事糾紛，來日大難，前途安危，未可預料。本人比諸位同學年長一輩，但議論經史，口若懸河，吾不如李宗鄴；下筆千言，詩文並茂，吾不如蔣定恒（光慈）；遇事定計，穩定周詳，吾不如胡澍。但領會誠意，正心敏知，指物修身、齊家、治國、平天下之道，吾可為諸君終身之師。今日小別，望諸君努力振作，不忘語罕先生幾年之教導。”