陶行知的祖上，原籍在浙江紹興府會稽縣陶家堰；後來，遷居到安徽古溪；不久，又移居古城徽州歙縣西鄉黃潭源村。他的父親名位朝，字槐卿，接管祖上一片醬園，後因經濟蕭條，破產倒閉了。從此，家道中落。
他從小就聰敏過人。6歲時，在鄰居家廳堂玩耍，看見廳堂牆上掛著對聯，就坐在地上，舞棍畫地，臨摹起來，被鄰村秀才方庶鹹看見，驚為神童，免費為其開蒙。
後來，他又入家鄉蒙童館，在吳爾寬處就讀。
15歲時，母親在歙縣一所教會中學“崇一學堂”幫傭，他經常去幫助母親做些事情，被學校校長、英國人唐敬賢看中，讓他免費讀書。
就這樣，他進了教會學校。心情激**下，他就在宿舍牆上揮筆寫下——我是一個中國人，應該為中國做出一些貢獻來！這看似平淡的豪言壯語，卻抒發了他的滿腔愛國熱情。
在這裏，他用兩年的時間就學完了三年的課程，並以優異的成績畢業。
1908年，17歲的他考入了杭州廣濟醫學堂。本想通過學醫，解除廣大勞動人民的病痛，實現自己的報國誌向。然而，由於這所教會學校歧視沒有入教的學生，他不願受外國人擺布，入學僅三天，就憤然退學。
1909年，他考入美以美會在南京辦的匯文書院博習館(即預科)。次年，匯文書院合並宏育書院更名金陵大學(1952年並入南京大學)，他就從匯文書院預科升入金陵大學文科。
他在金陵大學期間，主編了中文版校刊《金陵光》，並在此校刊上寫出《金陵光出版之宣言》一文，號召全校同學努力學習和工作，發出自己的光和熱，報效祖國，“使中華放大光明於世界”。
1914年，他以總分第一名的成績畢業。他在畢業論文《共和精義》中寫道：“人民貧，非教育莫與富之；人民愚，非教育莫與智之；黨見，非教育不除；精忠，非教育不出。”