1925年12月，高語罕在上海大學任教一段時間後即趕到廣州，參與國民黨“二大”的會務準備工作，同汪精衛、邵力子一起起草國民黨“二大”宣言。在大會上，高語罕同張靜江、鄧澤如、古應芬、陳璧君一起當選為國民黨中央監察委員會常委。
1926年1月8日，鄧演達被任命為黃埔軍校（即中央軍事政治學校）教育長。1月19日，參加完國民黨“二大”後的高語罕也來到黃埔軍校任政治主任教官，成為黃埔軍校第一位政治教官，同時兼入伍生部少將黨代表。
高語罕為人十分和藹，遇到接近他的人，往往都是他先打招呼。很多青年學生過去讀過他的《白話書信》，再加上他口若懸河，講得通俗、風趣，因而受到大家的普遍敬重。
在講授政治學概論時，高語罕仍提倡白話文。有一次他在課堂上說：“同學們都是風華正茂的青年，也有百分之七八十都是沒有對象的未婚者，以我在學生時代的經驗，用文言文寫愛情信，不如用白話文寫愛情信，這是最能表達內心情感的，諸位努力寫吧！”
同時作為中央監察委員，高語罕直爽、盡職。有一次開會，蔣介石吩咐桌子上要擺些精致的點心。高語罕走近細看，原來盛點心的盤子都是用草編的，上麵有紅花、綠花，中間五彩的花朵不是染的，卻是用有顏色的草編的，手藝精巧。高語罕臉色一板，放開喉嚨衝著蔣介石說，開會又不是請客，何必如此浪費。蔣介石本想借此籠絡在軍校工作的共產黨員，可是高語罕竟當麵批評他奢侈浪費，不像革命黨人的作風，氣得兩頰紅一塊紫一塊，一甩門走開了。
3月19日，國民黨召開第13次中央常委會，批準毛澤東任第六屆農民運動講習所所長，蕭楚女為教務主任，高語罕為政治訓練主任。3月20日，蔣介石借口“中山艦事件”罷免了高語罕的政治主任教官職務，由惲代英接任。