又過了些日子，見霍去病整日百無聊賴、無所事事，衛青便對其道：“霍兒，你就沒想過去認你的親生父親嗎？”
霍去病無所謂道：“認他做什麽，反正是他先不要我的，我有舅舅和姨母就挺好的。”
衛青苦笑一聲，勸道：“但無論怎麽說，他也畢竟是你親生父親，而且當初他是因為被貶到外地當差，也是出於好意，才沒有把你和你母親從長公主府裏帶走的。況且，你現在已是位極人臣，總要起表率作用才好。”
終於在衛青的一番勸解下，霍去病這才肯前往自己生父霍仲孺所在的平陽縣，決定與父親和解、認祖歸宗。
因為霍仲孺已經另娶妻子，作為霍仲孺在外的私生兒若是上門認父，霍去病心裏總感覺有些別扭，所以來到平陽縣之後，他沒有直接前往霍家，而是在驛站落腳後，派人把自己生父霍仲孺請到了驛站。縱然心裏有些怨氣，但是當霍去病看到霍仲孺，拖著一副病軀緩緩而來的時候，心裏終究還是軟了一下。
霍去病主動迎上前去跪拜道：“兒子早先不知父親身份，如今得知，當即趕來相認，還望父親莫怪。”
縱然知道霍去病是自己的骨肉，但是二十年未曾相見，更未曾有養育之恩，霍仲孺心中羞愧難當，尤其此刻，霍去病已經貴為大司馬、冠軍侯，而自己還隻是一個平陽小吏，霍仲孺更是不敢受得霍去病如此大禮。
霍仲孺連忙將霍去病攙扶起來，啜泣道：“老臣愧不敢受如此大禮啊。”
霍去病正色道：“父親，此刻隻有父子，沒有朝堂，且不要以老臣自稱。”
霍仲孺道：“我是不敢稱為父啊，我對不起你，生你卻沒有養育你。”
霍去病道：“你也有你的苦衷，過去的就讓它都過去吧！”
父子寒暄半日後，霍仲孺也看出來，霍去病無意在平陽縣多待，於是，趕緊讓人回去把自己的另一個小兒子霍光接了過來。