卻說宣帝在位六七年，勤政息民，課吏求治，最信任的大員，一是衛將軍張安世，一是丞相魏相。霍氏誅滅，魏相嚐參議有功，不勞細敘。張安世卻小心謹慎，但知奉詔遵行，未嚐計除霍氏，且有女孫名敬，曾適霍氏親屬，關係戚誼，至霍氏族誅，安世恐致連坐，局促不安，累得容顏憔悴，身體衰羸。宣帝察知情偽，特詔赦他女孫，免致株連，安世才得放心，辦事愈謹。安世兄賀，時已病歿，宣帝追懷舊惠，問及安世，才知賀子亦亡，隻遺下一孤孫，年甫六齡，取名為霸。賀在時嚐將安世季男彭祖，養為嗣子。彭祖又嚐與宣帝同塾讀書，因此宣帝詢明底細，先封彭祖為關內侯。安世入朝固辭，宣帝道：“我隻為著掖庭令，與將軍無關。”安世乃退。宣帝又欲追封賀為恩德侯，並置守塚二百家。安世複表辭賀封，且請減守塚家至三十戶，宣帝總算依議，親定守塚地點，使居墓西鬥雞翁舍。舍旁為宣帝少時遊憩地，故特使三十家居住，留作紀念。已而餘懷未忘，自思不足報德，便於次年下詔，賜封賀為陽都侯。予諡曰哀，令關內侯彭祖襲爵，拜賀孫霸為車騎中郎將，賜爵關內侯，食邑三百戶。霸年幼弱，但予祿秩，不使任事。賀有大德，原應贍養孤孫，但賜祿則可，賜官則不可。惟安世因父子封侯，名位太高，複為彭祖辭祿，詔令都內別藏張氏錢，數約百萬。安世持身節儉，身衣弋綈，妻雖貴顯，常自紡績，家童卻有七百人，但皆使為農工商，勤治產業，積少成多，所以張氏富厚，勝過霍氏。不過安世約束子弟，格外嚴謹，終得傳遺數世，不致速亡。這是保家第一要旨。
先是安世長子千秋，與霍光子禹，並為中郎將，同隨度遼將軍範明友，出擊烏桓。及奏凱回來，進謁霍光，光問千秋戰鬥方略，與山川形勢，千秋口對指畫，毫不遺忘。至轉問及禹，禹均已失記，但答言俱有文書。光不禁歎息道：“霍氏必衰，張氏將興了！”誰叫你不知教子？後來光言果驗，張氏子孫，出仕不絕。時人謂昭宣以後，漢臣世祚，要算金張兩家。