永平十一年，明帝敕令在洛陽西雍門外三裏禦道北興建僧院，取名白馬寺。同年秋，江夏安陸黃氏一戶人家喜添一名男嬰，因院中桂花香氣撲鼻，故取名黃香。
黃香自幼家境貧寒，沒錢供他讀書，他從小就一邊幫家裏大人做事一邊向附近有學問的人請教學習。當地讀書人見黃香這麽小就求學好問都感到驚奇，於是十分喜愛他，對他傳授知識也都不曾有所保留，幾乎傾囊相授。
黃香九歲時母親因病故去，至親的離世使他幼小的心靈遭到了巨大的打擊。黃香一度茶飯不思神誌恍惚，後來生了一場大病竟然差點死掉。黃香在昏沉中呼喚著母親，無論大夫怎樣叫都醒轉不來。黃香的父親哭泣著抱起黃香說道：“我到底犯了什麽樣的過錯，上天要一次帶走我的兩個親人。”奇怪的是黃香好似聽到了他父親的聲音，呼吸慢慢平穩下來，終於在幾日後恢複了正常。
黃香病愈後對父親格外悉心照顧，平日裏和父親一起操持農活，回到家後還要主理家務。天氣熱時他不顧自己一身汗漬，在父親的床邊扇著扇子伺候父親睡覺，天氣冷時又提前鑽到被褥裏替父親把床暖熱。由於他的盡心盡孝和多年來的刻苦求學，名聲遠播到京師洛陽，天下人都知道江夏安陸出了一名孝子名叫黃香，且年紀輕輕就博通經典，一時間名聲大噪。黃香十二歲時，江夏太守的劉護聽說他的事跡後十分喜愛，命人召黃香進入自己府裏做官，擔任門下曹吏，成為了大漢幾百年來最年輕的官員。
在任上黃香不敢有絲毫怠慢和狂傲，勤勤懇懇學習政務，本本分分為官，閑暇時間除了陪伴父親以外就是在家閉門讀書。極高的名聲和良好的政績為他身邊帶來了更多慕名而來的學者和朋友，黃香十五歲時已經可以廣泛地誦習儒家經典，深求精通道德學術，寫得一手好文章。京師的人稱讚他說：“天下無雙，江夏黃童。”