1876年，4歲的伯特蘭與哥哥住進了他祖父母的家——潘布洛克府邸。他在這裏度過了他的童年時期，直到18歲進入劍橋大學為止，一共在這裏住了14年。
潘布洛克府邸是一座兩層樓的白色建築，建在皇家花園矮叢林的斜坡上，地平線那端是溫莎古堡，南麵是泰晤士河河穀。多年前，女王將這棟宅子送給了約翰勳爵。潘布洛克府邸附近還有一片土地。春天，斜坡上開滿了各種顏色的野花，樹林裏有很多橡樹、栗樹，許多在別處不常見的鳥在這裏也能看到，自然景色十分優美。可惜，約翰勳爵夫婦年事已高，家中又人手不足，這片美麗的土地後來也就無人整理，任其荒蕪了。
約翰爵士這時候已83歲高齡，他經常坐在輪椅上被人推著在花園裏閑逛。一切家務都由一位獨身未嫁的姑媽艾嘉莎主持。
艾嘉莎姑媽是潘布洛克府邸中年紀最輕的一個長輩，比伯特蘭大19歲，她曾跟一位牧師定過婚，後來對方受不了她那些瘋狂的謬見，解除了婚約，之後，她便終身未嫁。伯特蘭對她的印象是：平時總是披著一條白色圍巾，為了節省燃煤，總是穿一雙厚厚的羊毛襪。她喜歡主觀且極端地品評別人，總是認為那些人不是好到極點，就是壞到極點，其實這不過是她自己的想象。
伯特蘭剛到潘布洛克府邸時，艾嘉莎姑媽很熱心地嚐試用各種方式來教育他，可惜好像都沒有成功，這使她很氣餒。伯特蘭六七歲時，她曾教他英國立憲史，這倒是他感興趣的東西。在伯特蘭保存的一本小冊子裏，曾記錄了當時艾嘉莎姑媽口述的一些知識。
另外對伯特蘭有著比較深遠影響的是他的祖母。在他不滿7歲時，他的祖父約翰勳爵就去世了，比祖父小23歲的祖母約翰·羅素夫人成了伯特蘭幼年時代最重要的人。她是蘇格蘭長老會的教友，外表非常嚴肅而富有清教徒氣息，對孩子們的道德要求非常嚴格。她精通法語、德語和意大利語，也熟知莎士比亞、彌爾頓等英國的著名詩人，她還懂得許多天文學和曆史學方麵的知識。約翰·羅素夫人比她丈夫激進，主張宗教自由主義，她曾因支持愛爾蘭地方自治法案、反對英國帝國主義戰爭，而使保守派大為震驚。這件事讓幼小的伯特蘭有了這樣的觀念：為了更多人的福祉，有時候反抗是合理的。