晚年的皮爾龐特變得憂愁乖僻，相信命運。他認為公眾誤解了他，對於責難其信托公司的軒然大波感到氣憤。他眼露凶光，對記者揮舞著拐杖以示威脅。公眾對他的事情懷有好奇心也是合情合理，而他卻不能容忍。1911年，在多佛爾莊園，他把三十年來寫給朱尼厄斯的一捆捆書信付之一炬，銷毀了19世紀後期英美兩國金融方麵也許是最重要的史實記錄。他極力想保持世上最著名的銀行家所不可能有的隱私。他像幽靈一樣，在作為圖書館的西廳裏沉思著，窗上的彩色玻璃和厚厚的帳幃隔絕了外麵嘈雜變化的世界。
他大部分時間是在歐洲度過的，以躲避進步黨政治的喧囂。他的旅行癖從未消退。從歐洲開始，他就通知傑克他日程上的下一站，再加上句笨拙之詞：“也通知你的母親。”在任何地方他都覺得是在家裏。曾有人要他說出幾個他最喜歡的地方，他答道：“紐約，因為它是我的家；倫敦，因為它是我的第二個家；羅馬和埃及的卡吉。”(1)
對他來說，埃及具有獨特的神秘魅力。在他生命的最後三年內，他三次走訪埃及，並出資為大都會博物館收集埃及文物（在一幅1909年拍的照片上，身軀魁梧的皮爾龐特騎著一頭小毛驢，向沙漠深處疾馳，後邊跟著驚魂未定的導遊）。在開羅西南400英裏之外的卡吉發掘出的文物使他如此著迷，以至於他要求托馬斯·庫克父子公司建造一艘在尼羅河上航行的鋼製汽船，取名“卡格號”。從這艘裝有蹼輪的船上，他愛把硬幣擲入水中，而這些硬幣又被尼羅河岸上的孩子們打撈了上來。
皮爾龐特是孤獨的，而名望很可能又加深了他的孤立。他的第一個傳記作者卡爾·霍維寫道：“據說在金融城能同摩根搭得上話的熟人還不到50個。”(2)皮爾龐特在生意上交際廣泛，但沒有幾個同僚跟他有深交。因此，他就依賴家人獲得感情支持。正因為如此，他和小女兒安妮·特雷西的矛盾尤其使他受不了。安妮比傑克小6歲。皮爾龐特·摩根可以征服世界，但征服不了他的女兒安妮。她生性活潑，精神飽滿，喜歡高爾夫和網球，反抗常規的養育。在皮爾龐特的所有孩子中，安妮在氣質上最像她父親：她聰明、堅定、專橫，而又極為固執己見。據後來成為社會名流的哈裏·萊爾妻子伊麗莎白·德雷克塞爾回憶，安妮是一位“身材修長，長著小精靈似的臉蛋，兩眼炯炯有神”的姑娘。但“性格和意誌如同皮爾龐特的一樣倔強，她愛指責哥哥姐姐的習慣，使人感到很難堪”。(3)一次，在皮爾龐特密友們的宴會上，她父親看著桌麵，問她長大以後想幹什麽。她立即答道：“不管什麽，隻要比富裕的傻瓜強就行。”(4)盡管她愛這樣嘲弄人，但她還是跟父親很親近，常常陪父親乘坐海盜三號去歐洲。一次她作為主人，招待了乘坐遊艇的德國國王。