1955年4月2日，林徽因因病辭世，一向冷靜而理智的金嶽霖悲痛萬分。
第二天，適逢他的一個學生到辦公室看他，金嶽霖先不說話。當整間辦公室隻剩下他們兩個人時，金嶽霖先是沉默，後來突然說：“林徽因走了！”說完便號啕大哭。那位學生後來回憶說：“他兩隻胳臂靠在辦公桌上，頭埋在胳臂中。他哭得那麽沉痛，那麽悲哀，也那麽天真。我靜靜地站在他身旁，不知說什麽好。幾分鍾後，他慢慢地停止哭泣，擦幹眼淚，靜靜地坐在椅子上，目光呆滯，一言不發。”那位學生陪他默默地坐了一陣，這才把他送回家。
三十多年後，年近九旬的金嶽霖慢慢地回憶說：“林徽因死在同仁醫院，就在過去哈德門的附近。對她的死，我的心情難以描述。對她的評價，可用一句話概括：‘極讚欲何詞’啊！”
林徽因去世時五十一歲。那一年，建築界正在批判“以梁思成為代表的唯美主義複古主義建築思想”，林徽因自然脫不了幹係。雖然林徽因頭上還頂著北京市人大代表等幾個頭銜，但追悼會的規模和氣氛都是有節製的，甚至帶上幾分冷清。
親朋好友們送的挽聯中，隻有金嶽霖的挽聯別有一種熾熱頌讚與**飛瀉的不凡氣勢，引人注目：
一身詩意千尋瀑，萬古人間四月天。
四月天，在西方總是用來指豔日，豐盛與富饒。然而林徽因去世的這個四月天，卻讓他終生難忘。他回憶當年參加林徽因追悼會的情形時說：“追悼會是在賢良寺舉行，那一天，我很悲哀，我的眼淚沒有停過……”
後來，梁思成和另一女子林洙結婚，重溫二人世界。而金嶽霖還是獨身一人，他對此一聲不吭。每年逢林徽因忌日，金嶽霖總是要去一趟墓地，默默地獻上一束花。林徽因死後多年，60年代的某一天，金嶽霖鄭重其事地邀請一些至交好友到北京飯店赴宴，沒說任何理由。大家都過去了。弄了半天，大家還鬧不清今天是什麽特別的日子，老金為什麽要在今天請大家吃飯。直到開席的當兒，金嶽霖站起來，說：“今天是徽因的生日。”頓使舉座感歎唏噓，有些老朋友望著這位終身不娶的老先生，偷偷地掉了眼淚。