1940年11月，梁思成夫婦跟隨中央研究院曆史語言研究所遷往四川宜賓附近的小鎮李莊。
宜賓有長江第一城的美譽，而李莊又是宜賓長江上遊的第一古鎮，故李莊又有“萬裏長江第一鎮”的稱呼。
烽火連天的抗戰時期，由於國民政府的中央研究院、中央博物院籌備處、中國營造學社、同濟大學和金陵大學文學研究院等機構搬遷至此，使小小的李莊一時間聲名鵲起，成為與重慶、昆明和成都齊名的戰時四大文化中心之一。
梁思成和林徽因攜帶家人來到李莊，將家安置在一棟簡陋的老房子中。對此，後來曾專程到李莊看望梁思成和林徽因夫婦的費慰梅女士這樣回憶道：營造學社在李莊的總部是一座簡單的L形平房農舍，它的長臂是南北走向。這一臂的一側從南到北是一個打通的工作間，備有供畫草圖和寫作用的粗糙桌凳。對麵是女仆的房間、儲藏室和三個初級研究人員的臥室排成一行。走過一條狹窄的走廊，就是向東延伸的L形的短臂。
穿過走廊就是兩間臥室，一間是外婆和寶寶的臥室，另一間是兒子的。再過去就是梁氏夫婦的兩間房，一間臥室、一間書房，這就是短臂的全部了。他們的房子是朝南的，窗外是濃蔭覆蓋的、賞心悅目的一個院子。
對麵，在L形長臂的西邊，是一處更大的天井，大部分是參天的樟樹，點綴著小叢的香蕉林。在院落中還散落著一些小平房，一間作廚房，遠些的一間是食堂，留出些地方給莫宗江睡覺，最遠的一處則是戶外廁所。
在這間小院內還有一棵鬱鬱蒼蒼的桂圓樹，梁思成在樹上拴了一根竹竿，每天領著幾個年輕人爬竹竿，為的是日後有條件外出測繪時，沒丟掉爬梁上柱的基本功，這也成為小院內獨特的風景之一。
梁思成夫婦雖然把家安頓下來，但是惡劣的天氣、窘迫的經濟條件和物資的極度匱乏，使林徽因肺結核複發，從此臥病在床，再也沒能恢複健康。然而厄運卻沒有放過這對恩愛的夫婦，其他的不幸也接踵而至。對此，他們的女兒梁再冰後來回憶說：