一年後，黃炎培事息歸國，繼續興辦學校。
1905年，蔡元培在深夜找到他，以老師和同盟會上海領導的雙重身份說：“炎培，現在外強魚肉，內部土崩，局勢至此，有目共睹。列強得寸進尺，中國主權嚴重喪失，成了什麽樣的國家？是該徹底覺醒的時候了……”
他堅定地回應老師說：“蔡先生，我刀下餘生，死不足惜，隻要對國家有益的事情，聽先生的，我幹！”
第二天晚上，他就到了蔡元培家，莊嚴地宣誓：
驅除韃虜，恢複中華!
創立民國，平均地權!
就這樣，他參加了同盟會。1907年，楊斯盛捐資於六裏橋，創辦了現代化的浦東中學，黃炎培當首任校長。
他與楊斯盛一起，確立了著名的“勤樸”校訓，為浦東中學人才輩出奠定了基礎，使該校在當時享有“北南開、南浦東”的盛譽。當時，一般校長的月薪是100銀元，他被楊斯盛毀家興學的義舉感動，隻自支月薪40銀元。
浦東中學興辦後，有人密告兩江總督端方，說他們宣講排滿革命。端方下令，要江蘇提學使毛慶蕃徹查。毛慶蕃很看重黃炎培的才學，加上楊斯盛以身家性命擔保，立即發出公文說：“不準再有人根據舊案控告黃炎培革命。”
1910年1月，他辭去了校長職務，一直任學務校董到1927年。
之後，黃炎培出任江蘇都督府教育司司長，曾受僑胞委托籌辦東南、暨南、同濟等大學。在三年任期內，他全力以赴地改革地方教育，全麵規劃建設了省立高、中等學校和縣立小學，興辦的教育事業為全國各省之冠。
1913年，他發表《學校教育采用實用主義之商榷》，提倡教育與學生生活、學校與社會實際相聯係。
1914年2月至1917年春，他以《申報》記者身份在安徽、江西、浙江、山東、北京、天津等地考察了5個多月。