要想治理好天下，就必須有一批能幹的賢人誌士，劉秀非常懂得這個道理。劉秀在他創業的過程中，對於禮賢下士始終予以高度的重視。不過，由於每個人價值取向的不同，所以對才能和德行的具體要求，或是對賢的具體理解還是存在著一定差異的。
光武帝對賢士的政策，也就是處理群士關係的原則，如果簡單一點來說的話，可以用兩句話來概括：“擢賢良於眾愚之中，崇禮義於交爭之世。”光武帝“側席幽人，求之若不及”。若肯為己用，則高官厚祿，待之終身，延及後世。但如執意居隱，光武帝也不過分追究，必逼之死地而後快。從這個方麵來說，光武帝遠勝曆史上若幹殺戮對立的士大夫的開國群主多矣。
劉秀在建武元年(公元25),也就是說才當上皇帝不久，便請來了一個叫卓茂的七十多歲的老頭兒，拜官封侯。卓茂是怎樣的一位賢人，能讓一國的皇帝劉秀如此對待。卓茂，字子康，南陽宛(今河南南陽)人，卓越出身於官宦家庭，曾就學長安，事博士江翁，學習《詩》《禮》及曆算，“究極師法，稱為通儒”。因他生性寬仁恭愛，恬**樂道，雅實不為華貌，初任丞相府史，就被丞相孔光稱為長者。
卓茂一次駕車外出，有一個人攔卓茂對他講駕車的馬是他丟失的。卓茂有此奇怪就問：“子亡馬幾何時?”你的馬丟了多長時間?對方答說：“月餘日矣。"一個多月。卓茂養這匹馬已經數年，因此他知道那個人把馬認錯了，但並沒有因為這樣而作分辯，默默把馬給了那人，自己挽車而去，隻是在走之前回過頭來說：“若非公馬，幸至丞相府歸我。”如果不是您的馬，希望到丞相府把馬還我。時間過了不久，那人找回了所丟失的馬，於是到丞相府還馬認錯，“叩頭謝之”。
後來，卓茂因為儒術造非常高深遷升，官至密縣(今屬河南)縣令。“勞心諄諄，視人如子，舉善而教，口無惡言，吏人親愛。”在任縣令其間曾有人控告部亭長收其米肉，如果事實真的如此，那麽部亭長就犯了受賄罪。然而經他仔細了解情況，耐心開導，終於使上告者澄清了認識，這樣就使亭長洗刷了贓名，還以清白。正所謂“人納其訓，吏懷其恩”。卓茂剛到任時，人們對他的一套做法不理解，笑其無能。不想數年後，“教化大行，道不拾遺”。