在整個學生時代，巴菲特的女生緣都不怎麽好。雖然巴菲特成績優秀，也很聰明，但並不擅長與女生打交道，再加上巴菲特曾跳過級，所以比班上的同學小，而在女生眼裏，一個比自己還幼稚的男生是沒什麽吸引力的。高中的時候，巴菲特曾經和一個麵包店老板的女兒約會，但兩個人性格都非常內向，巴菲特說：“我們兩個人走在街上，誰都不敢說話，就像在比賽誰更害羞一樣。”上大學後，沃頓商學院裏有很多漂亮女生，但學校裏那些退役的紈絝子弟更具有魅力。他們時時刻刻都穿著整齊的服裝，能在女生麵前侃侃而談，而獨來獨往的，又衣著邋遢的巴菲特則黯然失色。
但是，巴菲特在他的學生生涯裏也並非從來沒有喜歡過女生，隻不過都無疾而終。在巴菲特上高中的時候，曾經暗戀過一個女生，女生的名字叫卡羅琳。在巴菲特眼裏，卡羅琳有一種特殊的氣質，這讓巴菲特深深迷戀。但巴菲特始終沒有勇氣表白，他們在畢業後就各奔東西了。在上大學的時候，巴菲特也喜歡過一個女孩，還和對方約過會，但後來巴菲特發現他的好朋友比爾·柯瑞斯泰森也喜歡這個女孩子，於是巴菲特主動退出，以成人之美。在內布拉斯加巴菲特也試著和一些女生約會，但他似乎對感情並不用心，而是把心思都放在了投資賺錢上了。
但山穀裏的野百合也有春天，1951年，巴菲特的愛情來敲門了，巴菲特也從此開啟了他的幸福之門。這年，妹妹羅貝塔還在西北大學念書，夏天的時候，巴菲特來到妹妹就讀的大學探望她。當時學校裏剛好舉行一場舞會，於是妹妹邀請巴菲特陪她一起參加，但巴菲特並不喜歡這樣的場合，也不擅長跳舞。通常，巴菲特在舞會中總是找個位子坐下喝可樂，所以沒必要去，但經受不住妹妹的再三邀請，還是陪著妹妹一起去參加舞會。