1912年1月4日，蔡元培回國不久，中華民國臨時政府在南京成立，他出任南京臨時政府教育總長。
教育部在他的主持下，公開征求國歌，其中由沈恩孚作詞的《五旗共和歌》，後來被頒布為中華民國的臨時國歌。
同年1月19日，他頒布了《普通教育暫行辦法》，主持製定了《大學令》和《中學令》，這是我國第一個大學和中學的校令。
其中《大學令》，以教授治校、民主管理為大學校務管理原則，規定各科設立教授會，大學設立評議會，不過當時未能施行。
他主持修訂了教育部的學製，強調要把中學和大學建造成健全國民的學校，主張廢止祀孔讀經，采用西方教育製度，實行男女同校等改革措施，第一次在政府法令條文中宣布教育上的男女平等。不久，全國初級小學實行了男女同校。
由於守舊勢力異常強大，高等學校到“五四”運動前夕，仍未實現男女同校。教育部對此畏首畏尾，各大學都不敢提議招收女生。他非常不滿此等現狀，不僅在北京青年會進行演講，也對上海《中華新報》記者發表談話，公開倡導高校男女同校。他說：“一提議，必不通過。其實學製上並沒有專招收男生的明文；如招考時有女生來報名，可即著錄；如考試及格，可準其就學；請從北大始。”
他當時就明確指出：“教育者，養成人格之事業也。”提出了“學為基本，術為枝葉”、“學為學理，術為應用”的觀點。
他在跟吳稚暉的通信中談到：“大約大學之所以不滿人意者，一在學課之淩雜，二在風紀之敗壞。救第一弊，在延聘純粹之學問家，一麵教授，一麵與學生共同研究，以改造大學為純粹研究學問之機關。救第二弊，在延聘學生之模範人物，以整飭學風。”
他坦陳：教育是要個性與群性平均發達的。政黨是要製造一種特別的群性，抹殺個性。例如，鼓勵人民親善某國，仇視某國；或用甲民族的文化，去同化乙民族。今日的政黨，往往有此等政策，若參與教育，便是大害。教育是求遠效的，政黨的政策是求近功的……若把教育權也交與政黨，兩黨更迭的時候，教育方針也要跟著改變，教育就沒有成效了。所以，教育事業不可不超然於各派政黨之外。