無論如何，李四光是接受了這次教訓到南京任職的。他發誓要力戒空淡，務實進取，他暗暗以曾到訪過的蘇聯科學院為標杆，開始了艱苦的地質研究所籌建工作。
首先是選擇所址，購置設備。
當時，國民政府剛剛建都南京，諸多機關紛紛成立，房舍異常緊張。為了不耽誤籌建日程，經主管部門批準，李四光暫時把所址設在上海。他帶領有關人員趕到上海，臨時租用民房安營紮寨。開始時住在閘北寶通路，不久遷至霞飛路，隔一年再搬到滬西曹家渡小萬柳堂，又隔一年，因淞滬之戰爆發，曹家渡處於戰線區無奈繼續轉移，幾經商洽才轉到中國科學社的明複圖書館借地安身。
堂堂的中研院地質研究所，逃荒式地東奔西跑，讓人啼笑皆非。多年以後，李四光回憶此間情景時，不無慨歎地說：“隔不了多久，幾個人又要扛著‘地質研究所’這塊招牌，在上海馬路上跑來跑去。”
這年秋天，中研院於南京雞鳴寺路的辦公大樓終於建成，地質研究所總算有了一個家。此前，他們等同於遊擊隊，隊長便是李四光。得到一個固定場所，李四光欣喜異常，從選址、設計到施工監理，李四光幾乎全部參與，很多細節親力親為，比他為自己建造北京的私宅時更加盡心盡力。
時光可鑒。如今，這座古樸的三層小樓，雖然略顯陳舊，但曾經的大氣和優雅尚存，室內地麵依舊光滑，窗子仍然保持當年原狀沒有變形，可見李四光及他的設計、建築團隊當年是如何用心！
隨之，在楊銓的鼎力幫助下，圖書、資料和儀器等必要設施逐漸得到充實。
接著是健全隊伍，確立崗位。
從這時起，李四光把主要精力轉移到了領導地質研究所的工作上來。為把研究所辦成學術權威機構，李四光吸收了一批年輕的學者到所裏工作，還聘請了一批有貢獻的地質學家為兼職或特約研究員。