漢武帝曾下很大決心，要花很大力量抗擊匈奴的侵擾，他要求臣下都要為抗擊匈奴盡力，要他們挺身而出、殺敵立功。為此，他大力獎賞了作戰有功的衛青、霍去病等人，對臨陣怯逃、失節或戰敗的王恢、狄山、李陵、蘇建等，予以嚴厲處治。
公元前119年，漢武帝決定命衛青、霍去病率50萬大軍從山西定襄出發打擊匈奴。為了鼓舞士氣，漢武帝親自到郎署，那裏的數百武將、郎官一齊跪倒：“願吾皇萬歲、萬萬歲！”
武帝看他們精神抖擻，說：“你們都願意隨軍出征、冒死殺敵嗎？”“願為陛下效力，肝腦塗地，在所不辭！”數百名文武官員一齊喊道。
漢武帝高興地點點頭，心想部下的士氣是多麽高啊！可是，就在這時，忽然聽見從一個角落裏傳來了一聲低弱的、但十分清楚的老者聲音：“小臣年邁體弱，不願出征！”
漢武帝一愣，左右更是大吃一驚，在這樣的氣氛下說不肯上陣，這要處死罪啊！
漢武帝問：“你是幹什麽的，叫什麽名字？”
那老者白發蒼蒼，行動蹣跚，走過來向武帝叩頭：“小臣顏駟，年已61歲，江都人氏，從文帝時代就在署下為小郎了。”
武帝遲疑一下，問道：“卿年逾花甲，為郎幾十年，為什麽不得提拔、升遷呢？”
老顏駟說：“陛下容稟，恕臣直言：小臣曆來想忠貞報國，何嚐不希望建立功名？臣已曆經三代了，但都不逢時：文帝好文而臣好武，景帝好老而臣年輕，陛下您呢，喜歡提拔、重用少壯之人。可是臣已經老了，所以三世都不得重用，不是我不圖長進，大概是命該如此罷了！”
武帝聽了顏駟的陳述，深有感觸，歎了口氣，同情地說：“光陰如水，轉眼百年，一個人一生能有多少時光，有賢才不知，知而不重用，以至使你大半生為郎，這都是作人主的疏忽啊！”接著，武帝又說：“顏駟白發皓首，辛勞多年，他不願隨軍出征，恕他無罪。”他又轉臉對顏駟說：“你這樣大年紀，懷誌不遇，我命你為會稽都尉，趕快準備赴任吧！”