1943年6月，巴菲特迫不得已離開奧馬哈，回到弗雷德裏克斯堡和父母生活。不過巴菲特每到放假就興衝衝地往故鄉趕，並且會在這裏度過整個假期。如果祖父不在家，他就會住在一個和氣的牧師家裏。這年的7月，巴菲特一家搬到了華盛頓的哥倫比亞特區，並和當時一位著名的國會議員理查德·尼克鬆成為鄰居。這裏風景很美，像一個小別墅，房屋後麵有大片的樹林，夏天的時候從窗戶裏望出去是一望無際的林海。每天早上小鳥歡快的叫聲就是家裏的鬧鍾。在薄薄的暮色中，樹葉上晶瑩的露珠偶爾會打濕調皮的鳥兒柔軟的羽毛，這些森林裏的歌唱家迎著朝陽放聲歌唱，樹陰下開著姹紫嫣紅的花兒，生長著青翠的草。巴菲特的姐姐和妹妹經常去這個美麗的小天堂裏玩耍。
可是巴菲特卻不喜歡這裏。巴菲特中學時代是在華盛頓的艾裏斯迪上的。那時他的成績並不好，大部分科目都是C或者B。同時，班上的同學都是有錢人家的子弟，舉止優雅得體，而來自美國中部奧馬哈的巴菲特相比之下自然顯得土氣。而且他那喜歡鑽研的小腦袋還經常提一些很麻煩的問題，經常不修邊幅，為此老師經常提醒巴菲特的母親利拉。巴菲特因為小學時曾經跳過級，所以在班上比同學們都小，也很難融入主流群體一起玩耍，而在奧馬哈，大家都很佩服巴菲特，他豐富的知識總能把大家吸引過來。
而隨著巴菲特對環境越來越不滿，他的學習也慢慢地退步。他在課堂上總不能靜下心聽課，無聊的時候在紙上胡亂地畫畫股票走勢圖。巴菲特的英文、音樂和數學都隻得了C，有的表現得特別差的科目，老師甚至給了兩個黑叉，表示他在這個科目上特別差。與此同時，巴菲特的個性也發生了變化，他不是以前那個乖巧、聽話的小孩兒了，老師們都覺得他變得粗魯、固執，大家都對巴菲特絕望了。