1914年，陶行知以優異的成績畢業，赴美國留學，先入伊利諾伊大學攻讀市政學，第二年，獲政治學碩士學位。次年，又入哥倫比亞大學教育學院，師從哲學家、教育家約翰·杜威，杜威“教育即生活，學校即社會”的觀點，對他影響很大。
1917年8月，應南京高等師範學校校長郭秉文之聘，他提前回國，在南京高師主講教育學、教育行政、教育史、教育心理等。次年3月，任南京高等師範學校教務長；5月，南京高師成立教育專修科，他出任教育科主任。
1919年，他與劉伯明等組織南京學界聯合會籌備會；同年，當選為會長；作為南京高師代表參與新教育改進社、《新教育》月刊。2月，他發表《教學合一》，並在南京高師把“教授法”改為“教學法”，不久被全國教育界采用；4月，他發表《第一流的教育家》，率先提出創造精神的教育思想。
1920年夏天，他在南京高師舉辦第一次暑期學校，為我國高等學校開辦暑期學校之始；1921年，他參加組織實際教育調查社；11月，從事全國教育聯合會“中國新學製”起草工作。
從此，他開始了富於創意而又艱辛的教育生涯。
1922年2月，他出任中華教育改進社主任幹事，同年任中華教育改進社機關刊物《新教育》主編；次年7月，致函國立東南大學(前南京高等師範學校)代理校長劉伯明，辭別東南大學，專任中華教育改進社總幹事；參與發起成立中華平民教育促進會；被安徽旅寧同鄉會、同學會所辦南京安徽公學推為校長；先後謝絕被聘任為國立武漢大學(武昌高等師範學校)校長、金陵大學校長的邀請，專事中華教育改進社工作，促進平民教育運動。
1923年，他與晏陽初等人發起成立了中華平民教育促進會總會，編寫《平民千字課》一書，書編成後，他就拿上書到北京、南京的平民學校中試用，結果很滿意。他把《平民千字課》一書，送到平民百姓家裏，勸家家戶戶都要識字讀書。後來，他還自費奔波於全國十幾個省市，開辦平民識字讀書處和平民學校，推動平民教育運動。