因此，小海頓在1738年就離開了家，跟著弗蘭克來到40裏外的海因堡。從此以後，除了偶爾短暫的停留外，他再也沒有回家長住過。小小年紀就離開父母，來到一個陌生的城市，這對一個小孩子而言是一件非常痛苦的事。慢慢地，他和父母共處的那段日子成了他最寶貴的回憶，他也因背井離鄉和思家而迅速變得成熟。
海因堡群山險峻，其間有壯麗的多瑙河，山上有許多大岩石和濃密的森林，巍峨的城堡隱約可見。在這裏，海頓對藝術的好奇心得到了完全的滿足。
弗蘭克職務繁忙，他要教導80多個小孩讀書、寫字、做算術、唱歌和禱告，還要記錄教堂的日誌，維護教堂的鍾，並在做禮拜前或雷雨及火警等特別時候搖鍾鈴。此外，他還要負責教堂的音樂、彈管風琴，並指揮每個禮拜的唱詩。所以，他聘請了兩個助手幫忙。
小海頓抵達海因堡後，弗蘭克立刻向他介紹學校的各種活動。實際上，這個6歲小男孩每天的節目排得很緊，上午7點到10點上課；然後是教會的彌撒，有時也擔任祭壇的侍童；午飯後是繁重的作業；晚上，他還要學習鋼琴和小提琴的演奏，如果彈得不準，就會吃一頓皮鞭。
海頓6歲時，就像大人一樣在教堂的合唱團唱《彌撒曲》，還會一點點小提琴、鋼琴與風琴。
那年舉辦聖日遊行時，樂隊裏的鼓手突然死了，弗蘭克非常沮喪。他想到了海頓，他把海頓叫來，教給他擊鼓的技巧後，就留下小海頓一人練習。
終於，這個男孩子驕傲地走進了遊行的行列。由於他的個子太小，鼓綁在一個駝背者的背上，由他敲打。雖然這幅景象非常滑稽，但是小海頓打鼓的技藝卻讓人驚訝不已。
弗蘭克所指揮的樂隊規模並不小，水平也頗高。教堂樂器包括八支小喇叭和八把小提琴。雖然在平常的禮拜天，音樂隻限於四部合唱，由兩把小提琴和風琴伴奏。但在特別的節慶時，卻要加上一把大提琴、一把低音提琴，以及許多小喇叭、號角及定音鼓。弗蘭克搜集了相當多的手抄樂譜，一些比較大的教堂也向他借用。他曾吩咐海頓為他抄譜，使海頓小小年紀就已熟悉當代的聖樂。