盡管霍華德和利拉對未來要麵對的困難作好了心理準備，但對於剛畢業的年輕夫婦來說，生活還是過得緊張和拮據。
為了節省開支，她把汽車給霍華德用，自己上下班都擠公共汽車，到站後還得走一段路才到家，而回到家裏還要處理很多家務。每天她都很忙碌，有時候還做著兼職秘書，在他們成親最初的幾年裏，利拉掙的錢甚至比霍華德還要多。下班回家後，她得馬上做飯，飯後洗碗、洗衣服，做其他家務，再把霍華德第二天要穿的衣服熨好。
利拉結婚不久，眼睛出現了病變做了手術，以前落下的頭痛也經常折磨著她。後來，在1928年，利拉生下他們第一個愛情的結晶——女兒多麗絲，小家夥長得很漂亮、可愛。但利拉付出了巨大的代價，當時她發起嚴重的高燒，幾乎生命垂危。當利拉成功逃離危險時，霍華德擁著妻子和女兒熱淚盈眶。1930年，這位偉大的母親生育了一個偉大的投資者——沃倫·巴菲特。當時利拉又出現嚴重高燒，最後脫離了危險。
在利拉懷著巴菲特的時候，霍華德在一家金融機構任股票經紀人。由於這時正趕上美國股市崩潰，所以在巴菲特誕生的時候，美國的經濟衰退正使他的家庭處在困難時期。或許是由於這個特殊環境的影響，巴菲特從小就對股票有一種說不清的熟悉感。
歐內斯特對兒子霍華德離開保險公司一直不滿，也對他從事的證券工作十分不滿。他在給霍華德的弟弟克拉倫斯的信中也明確表示了對霍華德職業的評價。他說自己對股票有清晰的認識：如果一個人很努力地賺錢，節衣縮食地把錢攢起來，最後卻把這些錢投到像賭場一樣的證券交易所裏，作些莫名其妙的投資，那麽他一定是個地地道道的傻瓜。並且歐內斯特還認為這是一個很不值得信賴的職業，一點沒有確定性，也就是說霍華德很有可能失業。霍華德對父親的評價並沒有在意，並且很不屑地說：這是對我工作最大的鼓勵。但不幸的是，他父親的話很快就應驗了——1929年股市遭遇了巨大的災難。