傑斐遜一成為總統，46歲的漢密爾頓就開始從公眾視野中隱退了，他的崛起光芒萬丈、引人注目，由此讓他的謝幕顯得突兀。然而如果褪去了他以前在政治領域的光環，在法律專業領域，他仍是一座高峰，在紐約各個機構依然有廣泛的影響力。他為一個富有的退休海員羅伯特·理查德·蘭德爾（Robert Richard Randall）起草了一份遺囑，在斯塔滕島幫助建立了美國商船退休水平庇護所——“水手避風港”。漢密爾頓還為鮑厄裏街區的聖馬克教堂提供法律意見，因為該教堂想在三一教堂的教區之內尋找獨立地位。
但是在法律界的任何聲望和財富都無法彌補他在政治地位上無可奈何的衰落。從在國王學院第一次發表報紙文章起，漢密爾頓就已經展示出接近權力中心的嫻熟技巧。他曾加入華盛頓的戰爭智囊團，然後到邦聯議會、製憲會議乃至第一屆政府工作。但現在，他被人們從主要政治活動中排擠出去，一個偉大的將軍卻沒有軍隊跟隨其後。
在心灰意冷的時候，漢密爾頓一度幻想歸隱於山水之間，尤其是當菲利普·斯凱勒不斷打擾自己靜坐的腦力勞動之時。但某些事情阻止了他，使他不能如願以償。部分問題是，漢密爾頓骨子裏是一個城市人，更願意與書籍而不是潺潺的小溪打交道。其他的開國元勳——華盛頓、傑斐遜、麥迪遜、亞當斯——都擁有種植園或者大片的農莊，他們從中可以獲得經濟和精神上的支撐，而漢密爾頓是一個被束縛在其工作上的城市居民。
這種情況在18世紀90年代末開始有所改觀，漢密爾頓越來越發現家庭能讓他感到寬慰。有一次出差，他溫和地責怪艾麗薩不該向自己隱瞞孩子生病的事：“我外出的時候必須經常聽到你和我親愛的孩子們的情況。當所有別的**在我身上消退的時候，愛和友誼獲得了新的力量。我將竭力從一切可能妨礙它們的追求中抽身。隻有在這裏我才能找到真正的快樂。”[1]