蔡元培有6個兄弟姐妹，說來奇怪，他們兄弟姐妹，排行占單數，長得像母親，臉型橢圓，膚白晰；排行占雙數的，卻像父親，方臉，膚黃。他排行老二，自然就像父親的翻版。
他的先世，在明朝隆慶、萬曆年間，從諸暨遷來山陰定居，初以造林售薪為業，後來，某代祖先，因遭同行忌妒，被斧砍傷，從此，斷絕木材生意。
到他高祖時，又才開始經商，從浙江運綢緞到廣州販賣，頗獲利。但因偷關漏稅，第三曾伯祖，被關吏拘捕，將處死刑，家中罄物營救，才免一死，家業從此中落。
到他祖父廷楨，經營典當業，做當地一家典當鋪經理。他祖父行事公正，又善經營，家業漸興，在筆飛弄買下一房——坐北朝南，大廳三楹。諸子結婚後，又在屋後加蓋五樓五底，作為大家庭用房。家景漸臻小康。
他祖父生7子，但包括他父親在內，大多經商，隻有他的六叔讀書。
他後來回憶說：“餘家自六叔以前，祖傳無讀書登科之人。”
他本有7個同胞兄妹，長姐19歲、二姐18歲時，因病去世；四弟6歲、七妹2歲時，夭折，隻有他和大哥、三弟活了下來，三人分別相差2歲。
4歲時，他就開始在自家私塾讀書，先讀《百家姓》《千字文》《神童詩》，後讀“四書”、“五經”。
雖然私塾先生並不講解，但他不管懂不懂，總是認真背誦，從不東張西望，更不玩耍嬉戲。從小，就展露出一股從容安詳、異乎常童的性格與氣質。
一次，他獨自在自家樓上讀書。忽然樓下房宅著火，幸虧火勢不大，家人都尖叫撲火，很快就撲滅了大火。卻唯獨不見他，大家四處尋找，才在樓上找到他，此時他依然安坐樓上，口中念念有詞，還在讀書，甚至不知發生了何事。
又一次，天快黑了，奶媽叫玩耍的他和大他幾歲的小表叔下樓，奶媽先抱小表叔下樓，讓他在樓梯口坐著等。誰知奶媽一忙將此事忘卻了，幾個小時後奶媽想起，才急匆匆去接他，隻見他正襟危坐在樓梯口，位置都沒動，也不哭不叫，舉止安詳，根本不像五六歲的孩子。