中山艦事件後，汪精衛稱病不再視事，國民黨中央決定由譚延闓、蔣介石分別代理國民政府主席和軍事委員會主席；由林伯渠、甘乃光代替汪精衛管理國民黨中央的日常工作。
語罕辭去黃埔軍校政治主任教官與入伍生部黨代表職後，搬到廣州城內原安徽陸軍測繪學堂教官張先生隔壁去住。平時沒時間閑遊，這次在政治上翻了一個小小的筋鬥後，語罕倒是有機會和張先生探幽尋勝。
有一天早上，語罕去國民黨中央執行委員會開會，碰見秘書長林伯渠。他拉語罕到廣州大學大操場反段（祺瑞）示威運動大會現場去演講。
由於語罕不會說廣東話，林伯渠指定廣州大學一位青年學生代作翻譯。語罕即興打開了話匣子：“當袁世凱死耗傳到上海時，我正在英租界南成都路一位同鄉張企正先生家裏，在座者還有其他兩位朋友國會議員謝叔騫和原淮上軍總司令王龍廷。他們聽了這消息，喜極欲狂，紛紛說：‘好了，好了，老賊死了！’我卻打斷他們的興頭道：‘且慢高興！袁世凱不過是北洋軍閥的代表，他之帝製自為，並不是個人行動，隻是封建的地主貴族的社會製度的產物。’”
語罕提高嗓門：“現在袁世凱雖死，而產生袁世凱的社會製度並未消除，將來會有第二個、第三個袁世凱繼之而起，以至於生生不已。今天大家開會，反對段祺瑞，我依然要做這種分析。所以我們不但要打倒北洋軍閥段祺瑞，並且要打倒產生北洋軍閥的社會製度。”
次日，語罕的話刊登出來：“我們不但要打倒北洋軍閥段祺瑞，並且要打倒南方的段祺瑞！”蔣介石見了報，遂下令驅逐語罕出廣州。
4月7日晚上，胡公冕跑到語罕的寓所，拉他去見陳延年。
陳延年說：“你得離開此地。因為蔣先生對你頗有誤會。”