雖然林徽因的祖籍是福建閩縣（現今的福州），但是林徽因在《紀念誌摩去世四周年》一文當中稱杭州是她的“一半家鄉”。這份“故鄉情”和她自幼出生在杭州有關，但更重要的是祖父給予她的恩情。“徽因”就是祖父為她取下的。
中國有句俗語：上有天堂，下有蘇杭。最為著名四大才子——唐伯虎、祝枝山、文征明、徐禎卿也都是江南人士。
1904年6月10日，晴天麗日，林徽因出生在浙江杭州陸官巷的祖父林孝恂的家中。“徽因”二字原本是“徽音”，是按照詩經所取，《詩經》曰：思齊大任，文王之母。思媚周薑，京室之婦。大姒嗣徽音，則百斯男。其祖父便取其中“徽音”二字為她命名，寄希望她可以如明鏡般美好。直到1935年，林徽因開始在報紙和雜誌上發表文學作品，為了和當時一個叫“林微因”的男性作家把名字分開，改“徽音”為“徽因”。
小徽因的祖父林孝恂是個勤勤懇懇的知識分子，有著一身的錚錚傲骨，不願與世俗同流合汙。林氏早年間是福建一帶的名門望族，隻可惜後代人不思進取，終致家道中落，淪為布衣，林孝恂甚至曾經到富人家中做過家塾先生。兒子林長民曾說過：“爹在別人家教讀，與年所入不過數十千製錢，家計貧苦”，雖然如此，微薄的收入也無法支付全家的開銷。
家族的衰敗讓林孝恂看透人情冷暖世態炎涼，孩子們可憐巴巴的小臉浮現在他眼前，他夜以繼日挑燈夜讀，為的就是發揚門楣。功夫不負有心人，林孝悌一舉考取了進士，和康有為通科，之後在翰林院任編修，終於闖出了屬於自己的一片天地，擺脫了捉襟見肘的生活，讓林家再度迎來輝煌。
當時考慮到自己家境寒微，在京為官壓力大，於是有意請求外放。所以，在翰林院年度甄別考試時故意寫錯一個字，在當時，可以入翰林院的一定是有真才實學的人，這種事根本不可能發生，出現此類情況，通常是暗示上級官員自己有離京之意。之後林孝恂離京來到南方，擔任金華、海寧等地方官長，最後落居杭州，任杭州知府。林孝恂雖然是封建舊朝的官員，但為人開明。晚清時期，社會風氣逐漸開放，林孝恂更是中外兼學，注重後輩教育，而且男女不分。