劉曄年少時就誌氣不凡。七歲時，其母病危，臨終告誡他：“你父親的寵妾有諂害之性，你長大了替我把她除掉。”劉曄牢記母親遺言，十三歲時果真殺了父妾，跑到母親墓前祭拜。這事使得全家驚恐。父親大怒，派人捉拿他。劉曄並不驚慌，拜謝父親說：“這是亡母的囑托，我不得不除，請父親責罰。”父親見他行事果斷，又敢負責任，內心裏很讚賞，也就不再責怪。汝南名士許劭十分稱讚劉曄，認為他有“佐世之才”。
劉曄不僅有謀，還有幾分豪氣。他二十多歲時，揚州地方有許多擁兵自重的割據者，如鄭寶、張多、許乾等，都各擁部曲。其中鄭寶更是一方之霸，他陰謀驅略淮南百姓到長江之南去占山為王，但又怕引起公憤，於是迫脅劉曄出麵倡導。劉曄也正想借此機會鏟除鄭寶，卻苦無良策。恰好這時曹操派使者來揚州察看。劉曄於是邀請使者來家做客，告知鄭寶，誘其下山。鄭寶果然帶領數百人牽牛治酒來拜候使臣，觀其動向。劉曄見時機已到，便令家僮將鄭家的數百隨從安排在中門外坐，設酒飯招待，另請鄭寶到內室喝酒，秘密吩咐手下人在敬酒時砍殺鄭寶。然鄭寶性不甘酒，對眼前情形，觀察得很清楚，敬酒的嚇得不敢下手。此時，稍有怠慢就會發生變故。劉曄就自拔佩刀砍殺鄭寶，斬其首級，威脅鄭寶隨從兵眾說：“曹公有令，敢有亂動者，與鄭寶同罪。”眾兵士見狀，驚恐萬分，紛紛奔逃回營。當時，鄭寶營中還有其他將領和精兵數千，劉曄立即乘鄭寶的馬，率數名家僮，徑直來到鄭寶營門，對其首領恩威並施，喻以禍福，勸降了鄭寶部屬。劉曄進一步安撫眾人，於是皆心悅誠服，推他為主帥。劉曄不便擁兵，把這支隊伍全部交歸廬江太守劉勳。
當時，劉勳在廬江勢力較大，成為意欲稱霸江東的孫策的眼中釘。孫策見劉勳貪婪而無遠見，便派使者卑辭奉獻，勸劉勳伐上繚，以便調虎離山。孫策使者說：“上繚很富足，因屢次欺侮我小國，我們想借你的兵士報仇，為你的外援，滅了上繚全歸廬江。”劉勳聽此言，又得孫策奉獻的許多珠寶、葛布，大喜。全軍慶賀，隻有謀臣劉曄麵帶愁容。劉勳問其故。劉曄說：“上繚地方雖小，但城堅池深，易守難攻，若孫策乘其空虛，襲我後方，則主公大勢去矣。”貪利的劉勳哪裏肯聽，興兵伐上繚。孫策果然乘虛襲其後，劉勳窮迫，隻好去投奔曹操。不久，劉曄也投歸了曹操。