劉備的家境從他父親起開始中落，他爺爺劉雄在世時，官至東郡範縣縣令，那可是縣長一級的官。他父親劉弘也被舉為孝廉，但因為去世得早，才使得家裏越來越不景氣了，劉備與母親隻能以織席販履為生，日子過得不怎麽樣。
生活雖然困頓，但並沒有困住劉備的誌氣。他家籬笆牆邊上有一棵五丈多高的大桑樹，從遠處看去繁盛的樹冠如同大車蓋一樣。來往的人都覺得這棵樹長得不像凡物，說此家必出貴人。劉備小時候和小夥伴們在樹下玩耍，有次突然說道：“我將來一定會乘坐這樣用鳥羽裝飾車蓋的車子！”他叔叔劉子敬聽了嚇一跳，因為羽蓋的車隻有帝王才可以享用，他趕緊對劉備說：“別胡說八道，我們會被滅九族的！”另一同宗叔父劉元起讚歎道：“這孩子將來前途無量啊！”
15歲時，深明大義的劉母做出了一個改變劉備人生走向的決定——砸鍋賣鐵，送兒子外出求學。
劉母相中的老師就是盧植，盧植當時的名聲相當響亮，不單是東漢經學領袖，還曾經任中郎將與黃巾軍作戰，可謂文武雙全。能成為盧植的學生，那就好比現在上清華北大一樣，甚至比這還耀眼。可是，劉備家裏錢不夠啊！盧家沒有免費的午餐，盧植不是到劉備家鄉支教，也不會因為劉備長得奇異就免去他的學費。就在這個困難的時候，劉元起挺身而出，資助劉備和自己兒子劉德然一起去上學，還把他當成親兒子一樣看待。
按理說，一個寡母省吃儉用送孩子去上學，又有同宗長輩的真誠相助，劉備應該懂事，努力讀書以為報答才是。可是，劉備對學習一點兒也不感興趣，而是“喜狗馬、音樂、美衣服”，愛好吃喝玩樂、錦衣華服、聲色犬馬，完全一副紈絝子弟的派頭！
他還非常愛交朋友，在盧植門下，劉備結識了生命中非常重要的一個人物——漢末群雄之一公孫瓚，後來公孫瓚給了他相當多的幫助，還幫他當上了平原令。