白江口發生激戰的時候，周留城附近的軍隊似乎很默契，兩軍都選擇了偃旗息鼓，等待前線的最新消息。
龍朔三年（663）九月初一，唐軍率先得知消息，對周留城發動進攻。
龍朔三年（663）九月初三，唐朝海軍抵達周留城。
龍朔三年（663）九月初七，百濟王族扶餘忠勝、扶餘忠誌等人率眾投降。
遺憾的是，戰爭並沒有結束，劉仁軌等人完全高興不起來。他們都知道，周留城是百濟的政治象征，任存城才是百濟的軍事象征。
駐守在任存城的，是百濟的超級戰將黑齒常之。這位老兄高大威猛，走起路來虎虎生風，而且智商也時常在線，很難纏。
顯慶五年（660），蘇定方滅掉百濟後，駐守在任存山的黑齒常之投降了唐軍。蘇定方離開百濟之後，新羅軍人出於對百濟的國仇家恨，開始濫殺無辜，無數的男性死於屠殺，就連唐軍主帥也無法製止。
黑齒常之很不開心，投降唐朝是為了過好日子，可如今每天都得把腦袋拴在褲腰帶上，這算怎麽回事兒？黑齒常之想了想，決定邀約幾個百濟的小酋長，大家結伴同行，一起到任存山落草為寇。
來吧，加強防禦工事，繼續招兵買馬。靠著黑齒常之的影響力，任存山集聚了三萬多人，成了百濟在野派勢力的總部基地。
麵對黑齒常之的背叛，唐朝方麵下達了誅殺令。不過，任存山易守難攻，再加上有黑齒常之的領導，唐軍的戰爭打得並不是很順利。唐軍撤退之後，黑齒常之帶著部下下山，重新奪回了不少陣地，成了百濟最大的野派勢力。
客觀地說，黑齒常之沒有稱霸的野心，他很仰慕中原的文化，如果唐朝可以給他就業機會，他肯定不會拒絕。白江口之戰後，黑齒常之如願以償。
然而，任存山的其他將領卻沒有跟隨黑齒常之下山。