在所有關於金嶽霖的軼事中，最引人注目的一件事是他終生未娶。人們對此的解釋相當一致：他一直戀著建築學家、詩人林徽因。他們的故事最奇特和精彩的地方，就是金嶽霖的“逐林而居”。
1931年，金嶽霖在徐誌摩的引薦下，敲開了北總布胡同那扇門，見到了京城“四大美女”之一、徐誌摩曾為之如癡如醉的人物—林徽因。因為感到十分投緣，金嶽霖就搬到了梁林一家的後罩房，亦即北總布胡同12號，開始了他二十餘年“逐林而居”的生活。
老金是1932年搬到北總布胡同與梁家同住在一處的。後院很小，沒有什麽樹。金嶽霖種了一棵姚黃。仲春時節，姚黃開得燦爛如火。老金把最大的一間南房當作客廳，客廳靠北牆擺放著八個大書架，書架上以英文書居多。客廳南麵圍著一圈沙發，牆上掛著鄧叔存作的水墨山水。老金有一個洋車夫，一個會做西餐的廚師。在他這裏，朋友們喝咖啡，吃冰淇淋。因為老金是湖南人，朋友們笑稱這裏為“湖南飯店”。
按老金的說法：“他們住前院，大院；我住後院，小院。前後院都單門獨戶。30年代，一些朋友每個星期六有集會，這些集會都是在我的小院裏進行的。因為我是單身漢，我那時吃洋菜。除了請了一個拉東洋車的外，還請了一個西式廚師。‘星期六碰頭會’吃的咖啡冰激淩和喝的咖啡都是我的廚師按我要求的濃度做出來的。除早飯在我自己家吃外，我的中飯、晚飯大都搬到前院和梁家一起吃。這樣的生活一直維持到‘七七事變’為止。抗戰以後，一有機會，我就住在他們家。”這段話是老金晚年的回憶，並自稱“一離開梁家，就像丟了魂似的”。
梁林一家與老金之間，文化背景相同，誌趣相投，交情也就自然地非尋常人可比。這個“太太的客廳”裏，哲學家金嶽霖先生是每天風雨無阻，總是在3點半到梁家，是梁家沙龍中的座上常客。他就住在隔壁一間小屋子裏。梁氏夫婦的客廳有一扇小門，穿過“老金”的小院子就到了他的屋子。他常常穿過這扇門，參加梁氏夫婦的客廳聚會。一到就開始為林徽因誦讀各種讀物，絕大部分是英文書籍，內容有哲學、美學、城市規劃、建築理論及英文版的恩格斯著作等。他們常常在誦讀的過程中一起熱烈討論。就是在這種交往中，金嶽霖對林徽因的人品才華讚羨至極，十分嗬護。而林徽因對老金也十分欽佩敬愛，他們之間的心靈溝通達到了隻可意會、不可言傳的境界。