1799年夏天，赫爾巴特專程拜訪了當時著名的教育家裴斯泰洛齊，與他結下了忘年交，裴氏的“教育心理學化”口號給他以極大啟示。大學畢業後，赫爾國特回到家鄉，在朋友幫助下到一所教堂學校擔任數學教師的工作，同時定居在友人家專攻哲學生1802年10月，他在哥廷根大學取得博士學位，隨後留校任教，講授教育學、心理學和哲學。剛剛走上大學講台的他非常努力，慢慢地有了自己的影響力。三年之後，海德爾堡大學向他發出邀請，請他擔任該校的正教授。但赫爾巴特更加迷戀哥廷根的學術環境，謝絕了這一邀請，繼續以副教授的身份在哥廷根大學進行教學和研究。
在從事教育實際工作之餘，赫爾巴特勤奮寫作。1802年，他出版了自己的第一本書《裴斯泰洛齊的直觀教學ABC》,頗受歡迎，很快銷售一空。1806年他出版了《普通教育學》,奠定了他在教育史上的重要地位。1809年，柯尼斯堡大學向赫爾巴特發出聘請，請他接替康德的哲學教席職務，講授哲學與教育學。
赫爾巴特受聘時非常激動，他在給朋友的信中這樣寫道：“我能有此機會獲得那個教席乃是意想不到的榮幸，我在少年時代學習柯尼斯堡哲人的著作時已常常在充滿景仰的夢中渴望這一教席了。”②他在這所大學共任教25年，講課深受學生的歡迎。當時柯尼斯堡大學約有一半的學生選修了他的課程。他的講演始終不用稿子，但相當吸引人，教室裏總是座無虛席，許多學生上課前就在教室門口早早地等候工友開門。
赫爾巴特不僅致力於講台，而且積極參與教育改革。為了把教育理論與教育實踐聯係起來，從1817年起，他在柯尼斯堡大學建立了教育學研究班，進行教育實驗活動，這是世界上第一個教育研究所。除此之外，他還創辦了師範研究班、附屬實驗學校，為培養優秀教師作出了貢獻。正是在柯尼斯堡大學期間，赫爾巴特形成了具有自己特色的教育理論和方法。