劉備是漢獻帝皇室遠宗。《三國演義》第二十回寫劉備身世，大肆渲染：劉備見獻帝，獻帝排家譜，劉備輩分為獻帝之叔，故世人稱他為“劉皇叔”。獻帝還令宗正卿宣讀劉備的家譜，其祖上世代為侯，依代數乃漢景帝十八代孫。這一細節是小說家的加工產品，渲染劉備冠以“皇叔”，用以抬高他的正統地位。根據《三國誌·先主傳》所記，劉備確為西漢景帝子中山靖王劉勝的後代。劉備祖父劉雄、父親劉弘兩代，一度在州郡做地方小官。劉雄舉孝廉，官至東郡範縣（今河南範縣）令。劉雄以上世次不明。所以，劉備最初起兵，沒有憑借，號召力不強，隻是依附軍閥征戰。
劉備早年喪父，家貧，和母親販履織席維持生計。他家的東南角上有一株大桑樹，高五丈多，從遠處一望，茂盛的樹枝往下垂傾，有如車上的篷蓋。過往行人都對這株大樹感到驚奇，有人就說，此家必出貴人。
劉備幼時，和族中小兒常在樹下遊戲。有一天，劉備對夥伴們說：“總有一天，我定會乘坐有著真正篷蓋的天子車。”他的叔父劉子敬知道後十分驚異，訓斥他說：“休要亂說，這是要滿門殺頭的。”但從此劉備卻受到族人的器重。他十五歲那年，與同宗劉德然外出求學，拜涿縣名儒、前九江太守盧植為師，並且得到劉德然父親劉元起的資助。劉元起說：“我族中出了劉備這孩子，不是一般人哪！”劉備舉止也與眾不同，他在學堂並不用功讀書，喜歡弄狗騎馬，聽音樂，講穿戴。他身長七尺五寸，雙手過膝，回首能見自己耳朵，魁梧雄壯，一表人才。平時少言寡語，恭謙待人，喜怒不形於色，成竹在胸。又專好交結豪俠，與同學遼西太守之婿公孫瓚十分要好，年輕人都爭相依附他。劉備的這些表現，不合儒家規範，所以沒有得到盧植的品評推薦。學成歸來，依舊默默無聞待在鄉裏。