海頓在莫爾辛伯爵那裏工作了三年，他們一直相處得很好，直到莫爾辛伯爵自己有了經濟困難，決定解散他那開支龐大的樂團。
海頓忽然沒有工作了，他不知道下一步該往哪裏走。事實上，他完全不用擔心。保羅·安東·艾斯特哈齊親王對海頓印象深刻，當他知道莫爾辛的樂隊已經解散，他就邀請他加盟自己的樂隊。因為他已經有一位年老的指揮格雷戈爾·維爾納，所以就聘請海頓擔任副指揮。海頓欣然接受了，並跟隨保羅·安東親王來到維也納東南50公裏外的艾森施塔特城堡。
在匈牙利，艾斯特哈齊是數一數二的大家族，這個戰功顯赫的家族擁有許多產業，是匈牙利貴族裏最富有的一族（當時的匈牙利受奧地利哈布斯堡王朝統治）。艾斯特哈齊家族對於音樂和藝術的推廣和熱心，更是有口皆碑。保羅·安東於1721年繼承了家族的城堡，三年後，他又被封為新一代的艾斯特哈齊親王。
艾森施塔特城堡是一座富麗堂皇的巴洛克式建築，四個角落有高聳的塔樓，至少有200間貴賓室，以及畫滿壁畫的美麗客廳。城堡裏還有一個教堂、一個圖書館以及無數名畫。保羅·安東親王還派人在城堡周圍建了美麗的公園，其中有許多人造瀑布、池塘、岩穴和美麗的樹。
保羅·安東親王雖然是武夫出身，卻非常喜歡音樂。他自己也多才多藝，精通小提琴和大提琴。他在周遊意大利和德國時，搜集了許多樂譜。他建立了一支管弦樂隊，這支樂隊規模不大，但是非常出色。
保羅·安東親王招羅了許多優秀的音樂家，其中有傑出的男高音卡爾·佛力巴斯，他後來成為海頓最好的朋友之一。一年以後，女高音安娜·薛佛斯托也加入了。然而，保羅·安東對音樂史最大的貢獻，就是他聘請了海頓。他們的合同在1761年5月1日簽訂，這份合同非常嚴格和瑣碎。這份有趣的文件一直保存在艾斯特哈齊的檔案裏。