詩曰：“思齊大任，文王之母。思媚周薑，京室之婦。大姒嗣徽音，則百斯男。”林徽因的名字，從詩經《大雅·思齊》的大姒嗣“徽音”二字演繹而來，後因與中國海派作家、詩人林微音的名字時有混淆，便將“音”改為了“因”字。這是林徽因祖父林孝恂親自取的名字，意為繼承美德，同時引出孫兒滿堂，林家昌盛的意思。
林徽因是林孝恂的長孫女，這一房人這一代的第一個孩子。實際上，林徽因的母親是林長民第二房夫人。林長民原配夫人葉氏早早地過世了，也沒有留下一男半女。所以，這位生於浙江小城嘉興，父親開了一間小作坊，隻能算小家碧玉的女子，還算幸運地作了填房。
後來有人評價，林徽因的母親何雪媛，頭腦像她裹得緊緊的一雙小腳一樣，守舊又畸形。本是文盲的她，嫁入林家這樣的書香門第，好好地經營德容婦容，將丈夫、公婆伺候好了，或許日子會如意吉祥一生。但是，她卻不這麽想和做。何雪媛在家排行最小，嬌生慣養，鬥大的字不識不說，也不會女紅，而且更為招人不快的是一張利嘴，脾氣暴躁不檢點小節，特別任性。在家做姑娘時，父母還包容慣著，但是，到了林家，依舊一點也不改性子，我行我素地不以為然。這樣的模樣，讓婆母遊氏非常反感，當然其他人也不待見。遊氏喜好讀書，工於書法，而且女紅也拿手在行，既是賢妻良母，又是一派大家閨秀的風範，主母的端架，讓人不得不信服於她。一對比，何雪媛自然與婆母相差不是一大截，根本就是處在兩個世界裏的人，必然不討遊氏的歡欣。生下長女林徽因後，何雪媛也為林家添過一男一女，但都不幸夭折了，家庭地位更令人堪憂，丈夫不疼，公婆不愛，自然成了林家的嫌人。
林徽因有一位優秀出色的父親，上天便給了她一位平凡得不能再平凡的母親。上蒼說，世間是公平的，人世是不完美的，總有一個支點平衡才好。