黃初元年（220）魏文帝曹丕執政，劉曄為侍中，賜爵關內侯。有消息傳來，孫權襲殺關羽奪荊州。文帝就此詔問群臣，劉備是否會出兵報關羽之仇。眾臣都說：“蜀是小國，名將隻有關羽。今羽死軍破，國內憂懼，不可能再出兵了。”劉曄力排眾議，以充分理由分析道：“蜀國中狹小貧弱，但劉備想威武自強，勢必出兵顯示其自身強大。並且，關羽和劉備，義為君臣，恩猶父子，關羽死而劉備不能為他興兵報仇，於始終之分不足。”
果然，劉備親率大軍攻打東吳。東吳全國動員以抵抗，另派使者向魏國稱臣，於是魏國滿朝慶賀。劉曄頭腦冷靜，他提醒文帝：“吳國有長江、漢水阻絕，遠隔難通，不臣服之心久矣。陛下雖德齊有虞，然孫權醜虜之性，未有所惑。”所以，劉曄認為“東吳現在外有強敵侵犯，內又民心不穩。更害怕我乘機討伐，故委地求臣。一可以推卻我國之兵，二可以借我國名威加強軍隊信心疑惑敵人。孫權善用兵，見策知變，其計必出於此”。他接著說：“如今三分天下，魏有其二，吳、蜀兩國各占一州。一個以山為險阻，一個依水為天險。如有危急，互相救援，此小國之利也。現今卻互相攻擊，天亡之也。”劉曄力諫文帝抓住時機，“宜大興師，渡長江襲擊東吳。蜀攻其外，我襲其內，那麽吳國的滅亡不出一月了。吳亡則蜀孤，其還能久存嗎？若一旦縱敵，必為兵患”。他要文帝詳察這些情況。文帝考慮的則是另外的問題，他說：“人稱臣降而伐之，必使欲降者疑惑，懼怕而不敢來，這是不可行的。”還說：“我何不暫且接受吳國的投降，去襲擊蜀國後方呢？”劉曄回答：“蜀遠吳近，而且蜀國一聽我們出兵討伐他，一定會迅速撤軍。現在情形，劉備已怒火衝天，故興兵擊吳，聞我伐吳，知吳必亡，必喜而進，與我爭割吳地，不可能控製怒火，改變策略去救援吳國，這是必然的。”然而，文帝卻不加采納，堅持己見，接受了孫權的臣服。黃初三年（222），劉備被吳將陸遜打敗。吳國解除危險，對魏所有臣下禮節全廢。文帝欲興兵問罪，劉曄出來勸阻：“彼新得誌，上下齊心，又有江湖阻隔，難以很快獲得成功。”文帝不聽，於黃初五年（224）親率兵到廣陵、泗口，欲以大國威風震懾孫權，令其聽指揮。正如劉曄所料，孫權並不理會。時江水盛漲，文帝望見感歎說：“魏雖有武騎千群，無所用之，未可圖也。”（《資治通鑒》卷七十）回到國內，這才信服劉曄，要他製訂消滅吳、蜀二國的方略。