1917年，黃炎培從英國考察回來，深感“學而優則仕”的教育思想隻是引導學子走官場，無法將知識和實際相結合，於是他決定不再入官場。
同年5月6日，他在上海發起成立了“中華職業教育社”，任理事長，主張對教育進行改革，使“無業者有業，有業者樂業”。國內知名人士蔡元培、嚴修、張元濟等都在成立宣言上，簽名支持。這一天，成為我國近代職業教育的開端！
中華職業教育社，從成立到1949年全國解放為止，在他主持下，先後創辦了上海中華職業學校、重慶中華職業學校、上海和重慶中華工商專科學校、南京女子職業傳習所、鎮江女子職業學校、四川灌縣都江實用職業學校等，先後出版過120多種書刊，對我國的職業教育事業作出了重要的貢獻。
1918年，他創辦了中華職業學校。以“教業樂群”為校訓，“雙手萬能”作校徽；提倡手腦並用，注重實踐。學校培養的人才輩出，黃炎培因此在全國教育界聲名鵲起。
1920年，美國哲學大師杜威博士應邀訪華。5月，他邀請杜威到上海的浦東中學等處，聯合舉辦講座。杜威推崇實用主義，而他主張務實教育，兩人在教育理念上，不謀而合。
當時，他在演講中極力抨擊傳統教育，根據數據詳實、有理有據的說明，讓聽講的人震撼非常，當時27歲的毛澤東就在台下聽講。25年後，毛澤東在延安機場迎接黃炎培，當時毛澤東笑著說：“我們20多年不見了！”他疑惑不解，待毛澤東講起1920年的往事，他才笑而釋然。
1921年，他被委任為教育總長，卻拒不肯就職。
1922年，他參與起草學製，進行鄉村建設實驗，籌辦南京高等師範專科學校、河海工程專門學校(現河海大學)、東南大學、上海商科大學、廈門大學等高校。
他在興辦教育時，因為支持學生員工的進步活動，被江浙買辦財團的一些人謾罵為讚同“赤化”。1927年，蔣介石以“學閥”之名，對他進行通緝。他去蘇聯未成，流亡至當時的日租界大連。回滬後，閉門三年，以賣文為生。