在與傑斐遜和麥迪遜關於公共信用、債務承擔以及中央銀行的一係列小衝突中大獲全勝之後，1791年夏天，漢密爾頓達到了權力的頂峰。如此奪目的成功可能滋生了他無往不勝的迷醉與興奮。但是他強有力的支配地位也使得他成為共和國早期“不受歡迎的人”，國內一個舉足輕重的少數派已動員起來與他對抗。這本應使得他特別謹慎地對待自己的聲譽。但相反，他卻陷入了曆史上最撲朔迷離的緋聞之一，與一位名叫瑪麗亞·雷諾茲的已婚女子有染；雖然他的英名未被永遠玷汙，這樁緋聞還是讓漢密爾頓在有生之年蒙羞。他一下子從高貴政治家的頂峰跌回到了穀底，令人聯想起他在西印度群島少年時代的肮髒世界。
費城對感官之樂有自己的偏好。雖然法國遊客認為這座城市具有清教徒的古怪而不喜歡它，美國人卻樂在其中。漢密爾頓和其他政府官員有機會參加各種社交聚會、舞會、戲劇演出等。當地上流社會的交際女王是安妮·威林·賓漢姆（Anne Willing Bingham），巨富威廉·賓漢姆（William Bingham）之妻，他們在鄰近第三大街和斯普魯斯的3層樓高的奢華府邸舉辦宴會。以阿比蓋爾·亞當斯的話為據，18世紀90年代的費城社交聚會不僅談不上端莊，反而到處是袒胸露乳的女人。當看到社交聚會中女性暴露的身體時，她被驚呆了：“服飾風格……簡直是對所有莊重禮儀的侮辱，袒胸露乳成為女性服飾的一種時尚潮流……從胳膊一直**到肩膀，她們不穿束腹衣和緊身胸衣……在我看來，大多數（女人）簡直衣不蔽體，胸部露出太多。她們不滿足於**的自然形狀，而是采用誇張的手法，使自己看起來就像哺乳期的母親。”[1]
活躍的亞曆山大和艾麗薩與賓漢姆一家以及其他富有的夫婦有諸多交際往來。可能是在那年春天，艾麗薩感到了社交應酬所帶來的過度疲勞，需要時間調整恢複。1791年5月中旬，費利普·斯凱勒請求艾麗薩和四個孩子——三個親生孩子，加上收養的孤兒範妮·安提爾（Fanny Antill）——前往奧爾巴尼和他一起消夏。為避免流行疫病，很多人在悶熱的天氣裏都會離開費城等大城市。“我擔心，如果她繼續留在那裏，炎熱的天氣將會進一步損害她的健康，”斯凱勒向漢密爾頓談起艾麗薩，“因此，請允許我讓她盡快出發。”[2]於是，在斯凱勒的體貼關心下，艾麗薩和四個孩子在7月4日銀行認購證順利發行之後，很快離開了費城，並且一直待到夏天結束時才回家。