蔡元培離開北大以後，在國民黨內擔任了多種重要職務，又在民族危機來臨的時候堅定地站在了人民群眾的一邊。
隨著年紀的增長，蔡元培決心不再參與政治，用他的話來說就是：“願以餘生，專研學術。”他的大半生時間都花在了實現教育救國的夢想上，為什麽在這個時候要投身科研事業呢？其實這個想法早有淵源。
蔡元培早在歐洲留學期間，就意識到近代文明是在科技發展的前提下產生的，當時就開始對中國科技的發展前景充滿了憂慮。當時他就總結到：“欲救我國之淪胥，必以提倡科學為關鍵。欲救我國於萎靡不振中，惟有力倡科學化。”因此，中國要發展新文化事業，就必須注重科學發展。
1927年4月17日，在南京舉行的國民黨中央政治會議第74次會議中，李煜瀛首次提出設立中央研究院，決議出推李石曾、蔡元培、張人傑來共同起草中研院組織法，隨後展開籌備工作。中央研究院是中國民國時期的最高學術機關，最初隸屬大學院，在組織上分為行政、研究和評議三部分，職責主要是實行科學研究，並指導、聯絡和獎勵全國研究事業。
1928年4月，年過六十的蔡元培踐行了孫中山的遺願，被任命為中央研究院首任院長。在蔡元培擔任院長期間，擔任幹事的成員有楊杏佛、丁文江、朱家驊、傅斯年等人，其中楊杏佛曾先後在康奈爾大學和哈佛大學攻讀，並跟任鴻雋一起成立了中國科學社，他是蔡元培的得力助手，兩人的合作關係從大學院開始一直持續到研究院。楊杏佛被暗殺後，蔡元培失去了得力幹將，於是聘請丁文江來擔任總幹事。丁文江在早年曾經留學日本和英國，也是中國近代地理學的開拓者之一，除了地質學以外對生物學、人類學和軍事曆史等多方麵都相當熟悉，個人的管理和決策能力也很強。他為評議會的組建完成了必要的基礎工作，還對當前的研究工作進行了科學分類，所執行的各項工作也得到了蔡元培的高度讚揚。在中央研究院裏，蔡元培以令人崇敬的人格魅力聚集了一批能人才俊，共同推動了中國科學事業的改革和發展。