回到北大之後的蔡元培提出了進一步完善學校體製的要求，目的是即使他不在也不至於影響校務正常進行。但隨著時局的變化，蔡元培在教育製度的改革和發展上再次麵臨困境，他也因為經費等種種問題對政府失去了信心，所以再一次有了請辭的打算。而羅文幹案成為蔡元培最終離開北大的導火索。
羅文幹字鈞任，廣東番禺人，清末留學英國，專攻法學，獲牛津大學碩士學位，歸國後長期任職於司法界，時任財政總長，曾是北大法科兼課講師。當時的直係軍閥和部分官僚政客們一手製造了“羅文幹案”，控告羅文幹貪汙受賄，脅迫黎元洪下令逮捕羅文幹；羅文幹第一次被捕後因證據不足被無罪釋放，但新任的教育總長彭允彝卻在內閣會議上提議“再來過”，結果羅文幹再次被捕入獄。
蔡元培信任羅文幹的為人，更無法忍受這種勾結軍閥、**人權的行為，所以憤然辭職，以示恥於為伍，並毫不留情地抨擊了軍閥政客們的所作所為——“耳目所及，舉凡政治界所有最卑汙之罪惡，最無恥之行為，無不呈現於中國”，“元培目擊時艱，痛心於政治清明之無望，不忍為同流合汙之苟安，尤不忍於此種教育當局之下支持教育殘局，以招國人與天良之譴責”。
離開北大後的蔡元培，經過天津和上海，最後到達了紹興。除了工作上的不順，這時的他也在為夫人黃仲玉的離世而憂傷。早在1920年9月，蔡元培赴歐美考察教育，學術研究時，黃仲玉就已染沉屙，雖經醫生診療，但狀況時好時差。黃仲玉一麵請醫生診治，一麵整理行裝，力促始終放心不下的蔡元培按期成行。為了不拖累丈夫，黃仲玉於1920年底住進了北京一家法國人辦的醫院，本以為小別重聚後妻子將痊愈安康，卻不想自此陰陽兩隔。1920年11月24日，蔡元培自上海登船赴法。1921年1月2日，黃仲玉一病不起，在醫院溘然長逝，時年45歲。9日，蔡元培自巴黎抵達日內瓦，聞此噩耗悲慟不已，但遠在異國他鄉的他隻能獨自承受這人生的悲苦和打擊，連北京大學等學校、團體隆重舉行的“蔡黃仲玉夫人追悼會”他也無法回國參加，隻能就著悲痛無訴的傷感揮淚撰下一篇《祭亡妻黃仲玉》聊寄哀思。