1955年的秋天，李四光舉家遷往複興門內的嘉祥裏，大致相當於現在中央教育電視台所在地。
1958年年底，李四光又搬到了西山象鼻子溝。
和城裏的遂安伯胡同、嘉祥裏相比，象鼻子溝雖然偏僻，但要清靜許多，更有利於年近七旬的李四光工作和休息。在這裏，他一直住到了1962年1月。
1962年，象鼻子溝搞戰備工程，李四光不得不再次搬家。
有關部門請他去東城門西總布胡同看房子，這是一處寬大的四合院，政協副主席李濟深生前曾在此居住。李四光覺得房子比較豪華，不符合自己個性，禮貌謝絕。
他相中了紫竹院北邊的一片地方。這裏沒什麽住戶，樹林密布，綠意盎然，寧靜清爽，而且位於北京城的西北方向，上風上水，空氣清新，非常有利於健康，就舉家搬到這裏。
這是李四光在北京的最後一個住處，一座樸素的灰色建築物，位於海澱區民族大學南路11號，今天已成為李四光紀念館。六個蒼勁有力的大字“李四光紀念館”，出自他的湖北同鄉、前國家主席李先念的手筆。
1961年，李四光親自設計了這裏的庭院和居室，1962年入住。李四光的後人目前還在此居住，因此暫時不對外開放，隻接受內部人員參觀。
穿過彎彎曲曲的走廊，一尊李四光的半身銅像靜靜屹立在盡頭，將全部身心都獻給了中國地質事業的老人，正以充滿慈愛與期望的神態俯視著他的後人。客廳裏，沿牆一排古樸的棕色書櫥裏擺滿了精裝科技書籍，其中相當一部分是李四光先生留下的寶貴財富。書的外側擺放著一些證書和獎牌，這當中最為醒目的是由郭沫若、方毅分別為李四光和李林、鄒承魯(李四光的女婿)簽發的院士證書。客桌上的擺設樸素大方，在李四光生前喜愛的那個大地球儀前，鄒承魯獲得的一尊金牛昂頭靜臥，仿佛兩代科壇名人正在進行心靈的交流。