卻說禦史大夫一缺，本是蕭望之就任。望之自恃才高，常戲謾丞相丙吉，吉已年老，不願與較。望之心尚未足，又奏稱民窮多盜，咎在三公失職，語意是隱斥丙吉。宣帝始知望之忌刻，特使侍中金安上詰問，望之免冠對答，語多支吾。丞相司直緐延壽，緐音婆。素來不直望之，乘隙舉發望之私事，望之乃降官太子太傅。黃霸得應召入京，代為禦史大夫。才閱一年，丞相博陽侯丙吉，老病纏綿，竟致不起。吉尚寬大，好禮讓，隱惡揚善，待下有恩。常出遇人民械鬥，並不過問，獨見一牛喘息，卻使人問明牛行幾裏。或譏吉舍大問小，吉答說道：“民鬥須京兆尹諭禁，不關宰相。若牛喘必因天熱，今時方春和，牛非遠行，何故喘息？三公當燮理陰陽，不可不察。”旁人聽了，都說他能持大體。我意未然。
及丙吉既歿，霸代為丞相，相道與郡守不同。霸治郡原有政聲，卻非相才，所以一切措施，不及魏丙。一日見有鶡雀飛集相府，鶡音芬，或作鳻。雀形似雉，出西羌中，霸生平罕見，疑為神雀，遽欲上書稱瑞。後來聞知由張敞家飛來，方才罷議。但已被大眾得知，作為笑談。從前所稱鳳凰戾止，想亦如是。既而霸複薦舉侍中史高，可為太尉，又遭宣帝駁斥，略言太尉一官，罷廢已久，史高係帷幄近臣，朕所深知，何勞丞相薦舉等語。說得霸羞慚滿麵，免冠謝罪，嗣是不敢再請他事。霸為相時，已晉封建成侯，任職五年，幸得考終，諡法與丙吉相同，統是一個定字。惟黃霸的妻室，卻是一個巫家女兒。從前霸為陽夏遊徼，與一相士同車出遊，道旁遇一少女，由相士注視多時，說她後來必貴。霸尚未娶妻，聽了此語，便去探問該女姓氏，浼人說合。女父本來微賤，欣然允許，即將該女嫁霸為妻，誰知隨霸多年，居然得為宰相夫人，並且所生數子，亦得通顯，說也是一段佳話，閑文少表。