巴菲特不是天才，但他身上有著異於常人的特質：天生的謹慎。他在學走路的時候常常把膝蓋彎曲著，這樣在摔倒的時候能把傷害降到最低。在與父母逛街的時候，巴菲特的姐姐多麗絲喜歡東奔西跑，因此經常出現走丟的情況。巴菲特卻總是盡可能地靠近大人，溫順得像個小綿羊，避免了在嘈雜的人群中和父母走散。因此，大家都稱讚他是一個很少帶來麻煩的好孩子。
巴菲特皮膚很白，從小就長得很乖巧，而且他謹慎的性情也沒有隨著年齡的增長而變化。他從來不會逛一個他完全陌生的街道，也從不和小夥伴們鬧起很大的矛盾。由於他的乖巧本性，家裏的人都有要盡力保護他的想法。母親利拉對巴菲特當然也是加倍關愛，甚至他妹妹都不自覺充當起了保護巴菲特的角色，以免他被其他孩子欺負。霍華德想培養巴菲特的自我防備力，還買過一雙拳擊手套，並且找來一個小男孩跟巴菲特挑戰，但巴菲特對這些事情並不感興趣，因此那雙拳擊手套一次也沒用過。
不過這個懂事的孩子卻對數字表現出濃厚的興趣。在四五歲的時候，巴菲特最好的夥伴叫拉塞爾，他們在一起最喜歡做的事情，就是伏在走廊上觀察來來往往的車輛並速迅地記錄下車牌號碼；或者拉塞爾快速讀每個城市的名字，而巴菲特則井井有條地報出這個城市的人口數量。晚上兩個人就在屋裏研究數字，並統計這些數字在《奧馬哈世界先驅報》中出現的頻率。巴菲特很喜歡做數學題，還很擅長於用極快的速度計算出複利利息，這對他來說是最有意思的娛樂方式。每逢周日，母親利拉會把巴菲特打扮得幹淨、整潔，把他帶到教堂讓他聽布道，可是他卻扳著指頭算起那些神職作曲家的年齡來。正是這些看似幼稚的遊戲表現出巴菲特對數字的濃厚興趣，也為他以後的計算和數學能力打下了很好的基礎。