愛因斯坦的妻子艾爾莎於1936年去世。艾爾莎生前一直依戀德國。妻子離世後，愛因斯坦對美國這片新國土有了更多的眷戀。愛因斯坦的第一任妻子一生從未離開過瑞士，但是他們長子卻作為一名工程師活躍在美國，他在伯爾尼出生，當時愛因斯坦第一個重大發現問世。愛因斯坦的兩個繼女——其中一位離開德國後去世；另一位叫作瑪格特，是一位才華橫溢的女雕刻家。瑪格特與丈夫離婚後，與愛因斯坦一起在普林斯頓大學生活。
1939年，愛因斯坦唯一的妹妹瑪雅從意大利佛羅倫薩移居到美國的普林斯頓。瑪雅嫁給了一位老師的兒子，這位老師叫作溫特勒，在阿勞市區的學校教書。愛因斯坦對溫特勒的兒子一直很好。由於納粹在意大利的勢力範圍不斷擴張，瑪雅心中常感不安。瑪雅的丈夫暫時回到瑞士，她來美國投奔哥哥愛因斯坦。瑪雅說話的方式、聲音，連說話時顯露的童真味和懷疑的神情都與哥哥愛因斯坦異常相似。聽她說話很有趣，人們心中總有一種不安感，因為大家似乎看到了一個天才的複製品，同時又有一種安心感，因為有一種“原來最偉大的天才跟普通人一樣”的感覺。
1928年後，海倫·杜卡斯小姐成了愛因斯坦的秘書，後來還兼做了管家。杜卡斯身材苗條，聰慧敏銳，朝氣蓬勃。她是一個土生土長斯瓦比亞人。她和愛因斯坦的妻子艾爾莎來自同一個小地方。愛因斯坦一生與三位女性關係密切：妻子艾爾莎，妹妹瑪雅以及秘書兼管家杜卡斯。
愛因斯坦於1933年來到美國，那時他隻是訪問簽證。根據美國的移民法，美國境內任何一個地方都無權發放永久居民許可證，這種權力隻在美國領事館。由於領事館都設在國外，為了向美國領事館提出申請，愛因斯坦去了英國殖民地百慕大，百慕大之旅成了一次快樂之旅。領事非常敬重愛因斯坦，在招待他的晚宴上，頒發了永久居民許可證。愛因斯坦因此獲許進入美國，成為永久居民。