1905年，徐特立28歲，從寧鄉師範學校畢業後，他立即與友人一起在長沙縣梨鎮創辦起梨江高等小學堂，這是他第一次嚐試辦教育。
為了義務教育貧苦農民，他專招收農民子弟入學，還開辦了速成師範班和女子班，實行“多教課，隻吃飯，不要工資”的準則，深受人們稱讚。
1910年，他為了解決窮人不能受教育的現狀，與一批誌同道合的教師，在長沙城北門外，創辦了平民夜校，招收的200多名入學生大多是貧苦工人和店員。
1912年，為了普及長沙城鄉的小學教育，他與友人商議，擬建1000所小學。為了解決師資問題，他白手起家辦起了長沙師範學校；為辦好師範，他既當校長，又任教員和校工，以籌集辦學經費。
1913年，他為了解決家鄉農民子弟讀不起書的問題，騰出自家住宅，傾其所有置校具、聘教師，創辦了私立五美高級小學，免費招收貧困學子。而他和家人卻過著寒磣的生活。
在自己興辦教育的同時，他於1913年至1919年，還兼任湖南一師的教育學、各科教學法及修身等科教員，他人品好，思想進步，學識淵博，教學又好，在師生中威望很高。毛澤東後來回憶說：“我在湖南第一師範求學時，最敬佩的兩位老師，一位是楊懷中先生，一位是徐老。”
1924年夏，他赴法勤工儉學歸國，謝絕了廣東大學教授職位，一心為湖南教育盡力。為了解決女子讀書難的問題，他依靠募捐、借貸等方式，在長沙師範左側一棟雜屋，創辦了長沙女子師範學校。創學初期，所有教員均是義務兼課，除廚師外學校沒有一名勤雜人員，而是由他和學生一起做。
經統計，1919年以前長沙的教育，幾乎都是徐特立一手興辦的，那時長沙800多所小學，所有教員都是由他培訓，因此他在長沙教育界，贏得了一個“長沙王”的美譽。就如他給長沙師範畢業生寫的《畢業歌》裏說的那樣：