鍾靈毓秀的江南水鄉讓無數文人騷客神往，小徽因與生俱來的貌美如花讓無數人欣羨。林家本來就是書香世家，林徽因在祖父的影響下，更是信奉讀書可以影響人的一生。從林長民這代開始，家裏的孩子都要學習知識，而且還請來了國學大家林琴南，邀請外籍家教來教孩子們學習英語、日語，每當外籍教師前來授課時，林家府邸外就會聚集很多人觀望。
林徽因看到膚色各異的外籍老師才明白，原來並不是每個人都是黃皮膚，黑眼睛，她經常跟在老師們身旁，問這問那，童言無忌讓老師們啼笑皆非。當然，也正是由於這樣的教育環境為林徽因打下了英語基礎。
林徽因的童年和祖父母一起居住在杭州的蔡官巷，1909年，徽因5歲，隨著祖父母從杭州陸官巷遷居杭州蔡官巷的一處宅院。那裏白牆黛瓦，院子裏栽種著琵琶和海棠，是個非常美麗的居住之所。
此時的林家是個大家庭。對於林孝恂來說，可以說是兒孫滿堂，林徽因和自己的表兄弟、表姐妹一起度過了童年時光。
除了出色的語言天賦，林徽因在寫作上的成就也震撼了整個文學界，這也離不開一個人，她就是林徽因的姑姑——林澤民。林澤民是清朝末年遠近聞名的大家閨秀，從小接受私塾的熏陶，詩詞歌賦、琴棋書畫無一不通，如花似玉，才華橫溢的少女還未綻放就已經散發出迷人的美麗，上門提親的人絡繹不絕。出嫁後的林澤民經常回家長住，和姐妹們聚在一起。看著成群的孩子們，知書達理的她開始擔任起教育孩子們的責任。
此時的林長民經常在外忙於政事，和林徽因在一起的時間非常少，她的身邊隻有母親和二娘程桂林，以及眾家親戚。母親的脾氣很不好，和二娘不合，這讓林徽因本該單純善良的童年帶著幾絲灰暗。