劉曄歸曹，獻策一舉征滅廬江宗帥陳策，被辟為司空倉曹掾，不久轉為主簿，後又任行軍長史兼領軍，成為曹操的親信智囊之一。建安二十年（215），劉曄隨曹操征漢中張魯。漢中“戶出十萬，財富土沃，四麵險固”，北通關中，南扼巴蜀，西接隴右，東南與荊州相連，具有重要的戰略地位。張魯在漢中割據三十餘年，不願臣服曹操，率眾數萬，在褒斜南口陽平關“橫山築城十餘裏”，拒關堅守（《三國誌·武帝紀》）。號稱“漢中盆地西端門戶”的陽平，是個易守難攻的險關。《水經·沔水注》雲：“城因即崤嶺，周五裏，東臨穀，杳然百尋，西、北二麵，連峰接崖，莫究其極，從南為盤道，登陟二裏有餘。”曹操本來聽涼州從事和武都降人講，“張魯易攻，陽平城下南北山相遠，不可守也”（《資治通鑒》卷六十七），但親臨陽平，才知事實與傳聞截然相反。曹軍“攻陽平山上諸屯，山峻難登，既不時拔，士卒傷夷者多，軍食且盡，操意沮，便欲拔軍截山而還”（同上）。曹操帶兵先退，下令劉曄督察後軍順次退出。眼看奪取漢中的願望就要成為泡影，劉曄卻飛馳至曹操跟前，提出了“不如致攻”的建議。劉曄認為，現在軍中糧道不繼，返途又很漫長，此時退回，軍隊會損失很大，而且，他料定，大軍這一撤退，敵方防守必然鬆懈，正可利用這個機會。果然，“賊見大軍退，其守備解散。公乃密遣解慓、高祚等乘險夜襲，大破之，斬其將楊任，（張）魯潰奔巴中，巴、漢皆降”（《三國誌·武帝紀》）。劉曄的一點謀略，竟成就了奪取“蜀之股臂”巴、漢的大事。
這時，劉曄又建議一鼓作氣乘勝南進消滅劉備，他分析，劉備“得蜀日淺，蜀人未恃也”“今舉漢中，蜀人望風，破膽失守，推此而前，蜀可傳檄而定”“若小緩之，諸葛亮明於治而為相，關羽、張飛勇冠三軍而為將。蜀民既定，據險守要，則不可犯矣。今不取，必為後憂”。當時，劉備正在公安與孫權對峙爭奪荊州南三郡，蜀中空虛，聽說曹軍殺來，一日數十驚，這的確是取蜀的好時機。可是曹操沒有采納，卻匆忙還軍鄴城，去搞什麽“親耕籍田”。失之毫厘，差之千裏。一個失誤，竟養成了與之對峙了半個世紀的蜀漢，這確實是曹操所未曾料及的。