上一節中已經提到，王陽明在龍場開設了書院，並在此教授諸生。書院教育從宋代開始便逐漸興盛起來。當時的書院不是由中央或地方政府出資興建的學校，而是由民間發起創建的教育機構，因此書院和政府設立的國子監、府學、州學、縣學等機構在教育目的上存在一些差異。
科舉製度在唐代已經變得非常完善，此後的曆朝曆代均沿襲這一製度，並最終形成學校教育是培養官吏的預備教育的觀念。
書院在唐代後期出現，經五代至宋代達到頂峰。五代是一個戰火紛飛的時代，很多學校都遭損毀。當時，一些有識之士選擇在風景優美之地開設書院，教育弟子，這就是書院教育的起源。
到宋代後，戰亂停息，天下太平，官立學校又得以在全國廣為開設。此外，書院教育也日趨興盛，由名士出任書院院長（正式的稱呼應該是洞長或者山長），政府對此也大加讚賞，於是書院便逐漸在全國普及開來。在書院中，大學者親自教育弟子，所教授的內容非常充實，故而甚至一度出現書院比官立學校更受歡迎的情況。
宋代著名的書院共有四所：石鼓書院、白鹿洞書院、嶽麓書院和應天書院。
石鼓書院位於今湖南衡陽的石鼓山，最初是在唐憲宗元和年間（806—820）由當地名士李寬所創建。北宋初，朝廷賜額“石鼓書院”。宋仁宗時，書院一度荒廢。到南宋孝宗時，又在原址上複院擴建。
白鹿洞書院位於江西廬山山麓，最初是唐代名士李渤的舊宅。李渤放棄科舉考試之後，曾經隱居於此。五代南唐升元年間，李善道將李渤舊宅開辟為學館，在此教育弟子。宋太宗時，白鹿洞書院一度達到鼎盛。白鹿洞書院幾經興廢，宋真宗時修繕過一次。南宋孝宗淳熙六年（1179），朱熹知南康軍兼管內勸軍事，向朝廷提出修複白鹿洞書院，最終獲批，從而使白鹿洞書院再一次得到修繕和複興的機會。朱熹為白鹿洞書院製定了著名的《白鹿洞書院揭示》，大力教育弟子，使白鹿洞書院再次名揚天下。