漢孝哀帝建平、元壽年間，在汝南郡南頓縣一座還算可以的宅子內，時常可以見到年紀不大的兄弟三人在堂下正襟危坐，聽堂上父親嚴肅地給他們講道：“孝景皇帝生長沙定王發，發生舂陵節侯買，買生鬱林太守外，外生巨鹿都尉回，回即汝等祖父也，切記！切記！”
堂上之人是南頓縣的縣令劉欽，堂下的兄弟三人是他的兒子，按長幼排序分別是長子劉縯(字伯升)，次子劉仲(這個大概不是真名，仲隻是說明他排行老二)，小子劉秀(字文叔)。另外，劉欽還有三個女兒：劉黃、劉元、劉伯姬。劉欽提到的巨鹿都尉劉回，就是他的父親，也就是三兄弟的祖父。以上這段話是兄弟三人懂事之後已經聽得耳朵生繭的嘮叨，這既是他們劉家引以為傲的族譜，也可以說是兄弟們的啟蒙教育。
雖然自小被教導家裏有輝煌的家族史，但這並不能給兄弟三人帶來多少實際上的好處，隻是能和同齡人顯擺。每次和小夥伴們起爭執，劉家兄弟辯不過時，最後總是麵紅耳赤地叫嚷“吾祖上乃長沙定王”，然後說其高祖又是誰、曾祖又是誰、祖父又是誰。此話一出，小夥伴們不再言語，劉家兄弟便得以勝利者的姿態昂首離開。可當他們走遠，總能似有似無地聽見有人在背後嘀咕：一代不如一代。
這話極大地刺激了劉家三兄弟的心，尤其是年紀最大的劉縯，使他很早便在心裏發下宏願：一定要光複劉家的門楣。
理想很好，可現實總會給人當頭一棒：平帝元始三年(公元3年)，劉欽病故。雖然父親在世時是個縣令，但南頓並非大縣，縣令的俸祿不過八百石左右，而他們劉氏家族少說也有好幾十口人，日子過得肯定和“闊綽”二字沾不上邊。但不管怎麽樣，劉欽畢竟是家中的頂梁柱，現在他不在了，就意味著劉家進入了最艱難的時期。