劉秀的家裏共兄弟姐妹6人，大姐劉黃，二姐劉元，妹妹劉伯姬；大哥劉縯(字伯升),二哥劉仲。在兄弟當中，他排行最小。在劉氏兄弟中，劉秀和劉縯最有出息，但這一母同胞的哥兒倆脾氣稟性卻截然不同。劉縯“好俠養士”,剛毅慷慨而比較外向。劉秀則“性勤於稼穡”,謹厚而比較內向。劉縯經常笑話劉秀整日隻知埋頭幹田間的農活兒，“比之高祖兄仲”。原來，漢高祖劉邦的哥哥劉仲擅長理家治產業，劉邦的父親總是因此數落劉邦無賴，不能治產業，不像劉仲那樣勤力。到了後來劉邦做了皇帝，一次在給老父親祝壽的時候，劉邦想起以前的事就問道：“今某之業所就孰與仲多?”這句話給了老父親一個很大的難堪，當時“殿上群臣皆稱萬歲，大笑為樂”。說起這位劉仲，對政治則是一竅不通。劉邦封他為代王，有一次匈奴進犯，他竟然嚇得棄官逃跑，因此被削奪了爵位。劉縯把劉秀比作劉仲，意思是說他和劉仲一樣，也是個窩囊廢。劉秀對於哥哥的嘲笑，並不在意。劉秀在蕭縣叔父那裏受完初等教育之後，決心走出家鄉，去京師長安的太學(所謂“太學”,是古代的一種政治大學)繼續深造，親眼看一看外麵精彩的世界。
劉秀從一個小縣城來到當時最大的城市長安，見識的東西多了，眼界自然比以前開闊多了。當時他跟隨一位名叫許子威的先生學習《尚書》。許先生是廬江(今屬安徽)人，後曾官拜中大夫。《尚書》就是我們平常所說的《書經》,是古代政治文獻如記事文告、命令、講話記錄等的匯編，據說經由孔子刪訂。
史載，劉秀學習《尚書》“大義略舉”之後，“因學世事”;由於他聰穎勤奮，故“朝政每下，必先聞知”,而且“具為同舍解說”,即把自己所“聞知”的“朝政”解說給同宿舍的人聽。應該說，在長安這種學習經曆，對於劉秀的成長是很有好處的。