1799年6月3日，詹姆斯·漢密爾頓死在聖文森特一個小小的火山島上，享年約80歲。老漢密爾頓的命運從沒有得到改善，最終被困在一個令人生厭的小島上。在此前四年的時間裏，這個小島見證了令人發指的暴行。從1795年開始，加勒比土著秘密勾結法國居民在這個英屬島嶼上發動起義。英軍殘酷地鎮壓了叛亂，居民遭到屠殺，甘蔗種植園被焚毀。這想必就是孱弱老邁的漢密爾頓晚年的生活場景。在老漢密爾頓人生最後的34年裏，亞曆山大沒有去探望過他，這不禁使人重提一個舊話題：這位老人究竟是不是亞曆山大的親生父親？莫非是因為老漢密爾頓拋棄家人，讓亞曆山大淪為孤兒，從而使他疏遠這位不稱職的父親？也可能是漢密爾頓工作太忙，沒有時間回到這個小島？姑且不管這個謎團的答案到底如何，漢密爾頓每年都要給父親匯兩次款，孝順地接濟他，最後一次匯款是在1798年的聖誕節。
與很多自我奮鬥的移民一樣，漢密爾頓徹底地拋棄了自己的過去。他從來沒有流露過重返故裏的願望，他的成長經曆也成了一個禁忌話題。然而少年時的景象可能繼續影響著他看待問題的方法，尤其是奴隸製問題。1795年，漢密爾頓離開財政部的時候，奴隸製在新英格蘭和大西洋沿岸的中部各州已經開始衰退了。羅得島州、佛蒙特州、馬薩諸塞州、新罕布什爾州、賓夕法尼亞州和康涅狄格州已經決定廢除奴隸製。在紐約州和新澤西州，蓄奴現象也明顯減少。於是在1798年1月，漢密爾頓重新建立了在此前幾乎中斷的與紐約解放協會的聯係。在被選為協會的4個法律顧問之一後，當其他州的奴隸主揮舞著契約，試圖從紐約市街頭抓走獲得自由的黑人時，他幫助這些黑人，為其提供法律援助。
1799年，該協會取得了重大勝利。紐約州議院以68對23的結果頒布法令逐步廢除紐約州的奴隸製度。（盡管亞倫·伯爾在隨後數年仍然保留了奴仆，但他與大多數聯邦黨人站在同一陣營。）到了1804年，新澤西州也以紐約州為榜樣，保證其北部地區在30年內根除奴隸製，為後來取得南北戰爭的勝利奠定了基礎。但是，隨著奴隸人口的迅速膨脹和軋棉機的發明，奴隸製在南部各州中變得根深蒂固。那些沉醉在奴隸製將慢慢消失的幻想中的美國開國元勳的想法，被證實隻是一廂情願。