1911年冬天，蔡元培回到了上海。武昌起義的熱浪席卷了華夏大地，跟冬天的寒冷蕭瑟形成了鮮明的對比。這時候各地的名流都聚在上海，為早日籌建共和政權而共同努力。蔡元培暫時寄住在愛國女校，為了實現愛國事業四處奔走。
當時在選舉大元帥的過程中，大家產生了分歧：一部分人推舉黎元洪，另一部分人則推舉黃興來擔任。蔡元培站在公眾的立場再三思考，得出了結論：黎元洪性情軟弱，容易妥協，當初也不讚同武昌起義，有可能會走上袁世凱的道路，若選他，那革命的前途就會被摧毀。所以蔡元培連夜去拜訪章太炎和湯蟄仙等人，跟他們商量和權衡利弊，勸他們選擇黃興。大家覺得他言之有理，也都接受了他的建議。
在第二天的選舉中，黃興以大多數票數勝出，當選為大元帥；章太炎提出讓黎元洪擔任副元帥，也全票通過。不久以後，各省代表在南京開會進行了重新選舉，這次調轉了黎元洪和黃興的位置，但因為這兩人都不在南京，最後這件事就不了了之了。
1912年1月1日，孫中山在南京就任臨時大總統，成立了新的一屆政府。但浙軍將領自認為是攻占南京的功臣，對這次選舉的結果非常不滿，尤其是章太炎。他在屋裏掛上了統一黨的牌子，共有弟子十多人，邀請蔡元培加入，並叮囑蔡元培去南京跟各省代表接洽，來說服他們暫時推遲選舉。蔡元培到南京後跟幾位代表進行洽談，但除了湖南省代表譚石屏以外，其他人都主張推舉孫中山，也不同意推遲選舉。蔡元培將此次談判的結果告知章太炎，章太炎說：“如果孫中山被推舉為大總統的話，在組織政府時，我們浙軍最好不要加入。”蔡元培當時無奈隻能答應。
南京臨時政府成立後設置了九個部門，分別是陸軍部黃興、財政部陳錦濤、司法部伍廷芳、外交部王寵惠、海軍部黃鍾瑛、內務部程德全、實業部張騫、交通部湯蟄仙，以及教育部蔡元培。當時政府對於教育總長這個位置再三考慮，還是決定讓蔡元培來擔任。蔡元培擔心自己無法擔當重任，一再拒絕，在薛仙舟的說服下才勉為其難地同意嚐試。然而好事多磨，章太炎以當時“浙人不入閣”的口頭承諾扣留了他的行裝，不讓他上任。蔡元培說：“就算不擔任這個職務，也要親自到南京去向孫中山當麵辭職，需要得到他的允許，即便我接受了這個職位我也需要登報說明自己違背了約定。”後來在章太炎弟子的勸說下，章太炎才肯讓蔡元培離開。後來孫中山不允許他辭職，蔡元培遵守自己說過的話，寫好了廣告稿寄給章太炎，但章太炎的弟子回複說不願意刊登，於是這件事就這樣結束了。