獨驃騎大將軍杜茂，尚留守北方，備禦匈奴。光武帝不欲勞兵，特使吳漢等北往，督徙邊民，盡入內地，但諭茂繕治城障，阻住胡烽。茂令兵士屯田築堡，毋敢少疏。會因軍吏冤殺無辜，遂致連帶免官，減削食邑，由修侯降為參蘧鄉侯，另命蜀郡太守張堪為騎都尉，使他往領茂營。匈奴聞茂去職，乘隙進攻，兵至高柳，被張堪督兵邀擊，大破胡兵，飛章告捷。光武帝因令茂為漁陽太守，兼轄軍民。茂賞善罰惡，公正無私，吏士並樂為用。匈奴以高柳被挫，再圖報複，竟發萬騎入漁陽。才入境內，即有數千健卒，當頭截住，仿佛與長城相似，絲毫不能動搖。再加張堪領著後隊，鳴鼓繼進，銳厲無前，把胡騎衝得七零八落。匈奴將帥，連忙奔還，十成中已喪失了四五成，從此畏堪如神，不敢近塞。堪乃勸民耕稼，特就狐奴地方，開稻田八千餘頃，不到數年，桑麻菽麥，偏地芃（péng）芃。百姓踴躍作歌道：“桑無附枝，麥穗兩歧。張公為政，樂不可支！”總計堪守郡八載，戶口蕃庶，物阜民康。光武帝欲征堪內用，堪竟病逝，有詔褒揚政績，賜帛百匹。堪字君遊，係南陽郡宛縣人，少時已有誌操，號為聖童，入蜀時不私秋毫，布被終身。中興循吏，杜詩以外，要算張堪。讚美循吏，借以風世。
沛郡太守韓歆，亦剛直有聲，建武十三年間，大司徒侯霸病逝，特擢歆為大司徒。歆就職後，每好直言，嚐在帝前指天畫地，不少隱諱。光武帝未免動怒，歆仍不少改，在任二年，坐被譴歸。未幾又頒詔申責，歆憤激自殺，子嬰亦死。都人士替他呼冤，為帝所聞，乃追賜錢穀，具禮安葬。遇主如光武，且以直言賈禍，遑問他人。後來歐陽歙、戴涉，相繼為大司徒，俱坐罪論死，光武帝亦稍稍嚴急了。最錯誤的是廢後一事，為光武帝平生大累。事在建武十七年間。光武帝既立郭氏為皇後，嫡子強為皇太子，相安有年，見十二回。郭後複生子四人，一名輔，一名康，一名延，一名焉。陰貴人亦生五子，長名陽，次名蒼，次名荊，又次名衡，名京。尚有一子名英，為許美人所出。許美人無寵，當夕甚稀，故隻生一男。就中總算這位陰貴人，最得寵愛，光武帝有時出征，嚐命陰貴人隨行。陰貴人初次生男，曾在元氏縣中分娩，彼時從征彭寵，適當有娠，故在行轅中產兒，取名為陽，兩頰甚豐，至十歲時能通《春秋》，光武帝目為奇童。奪嫡之兆，已寓於此。建武十五年，大司馬吳漢等，上書請封皇子，三奏乃許。使大司空竇融告廟，封皇子輔為右翊公，英為楚公，陽為東海公，康為濟南公，蒼為東平公，延為淮陽公，荊為山陽公，衡為臨淮公，焉為左翊公，京為琅玡公。這是因年序封，故與上文敘次不同。諸子受封，才及月餘，有詔令天下州郡，檢核墾田戶口。刺史太守，依詔施行，次第奏報。獨陳留吏牘中夾入一紙，上書二語雲：“潁川弘農可問，河南南陽不可問。”光武帝瞧著，問所從來，吏人謂由長壽街上拾取，誤夾牘中。這是因光武好讖引惹出來。光武帝因疑生怒，頓有慍色。東海公陽，年才十二，適侍帝後，便乘間進言道：“河南帝城，必多近臣，南陽帝鄉，必多近親，田宅逾製，不便細問，故有是言！”光武帝大悟，再使虎賁將窮詰吏人，吏人無從隱蔽，所對如東海公語。光武乃更遣謁者巡行河南南陽，糾察長吏，實地鉤考，免得徇私。但自此愛陽有加，自悔立儲太早，不得使陽為塚嗣。天下事不宜生心，一有芥蒂，免不得形諸詞色。郭皇後暗中窺透，當然懷嫌，因此對著帝前，往往冷嘲熱諷，語帶蹊蹺。光武帝積不能容，遂致夫妻反目，動有違言。到了十七年冬月，竟突然下詔道：