希拉克略深知，與強大的波斯軍隊在開闊地交戰幾乎毫無勝算。他意識到最好的辦法是一路北上，進入外高加索高原。在那裏，他能夠得到當地基督徒的支持，同時高度機動化的小分隊有可能以少勝多，戰勝數量龐大的敵軍。624年3月25日，希拉克略離開君士坦丁堡。羅馬人向幼發拉底河方向進軍，進入波斯人控製的亞美尼亞地區，並沿途洗劫了許多城市。皇帝接下來向南襲擊波斯人控製下的高加索地區阿特洛帕特涅(Atropatene)，從而將科斯洛埃斯二世及其軍隊與甘紮克(Ganzak)隔開，他還摧毀了位於塔赫迪-蘇萊曼(Takht-i-Sulaiman)的瑣羅亞斯德教首屈一指的拜火神殿。而後希拉克略再度向北進發，並在阿爾巴尼亞公國建立自己的冬季司令部。在這裏，皇帝簽署命令，召集該地區基督教領主，為數眾多的領主帶著全副武裝的戰士響應皇帝的號召，蜂擁而至。同時，他還派出使節前往高加索以北的突厥人處，以圖和這個恐怖的草原部族結成同盟。
625年春天，波斯軍隊分頭追逐希拉克略。皇帝運用超乎尋常的謀略將他們一一擊破，進而向黑海沿岸和拉齊卡王國進軍(Kingdom of Lazica)。此後傳來的消息可能會擾亂其意誌，迫使他撤軍：波斯人再度調兵遣將，不是向安納托利亞而是向君士坦丁堡發動進攻，同時，其攻勢還得到阿瓦爾人的配合，後者從歐洲一側包圍這座城市。希拉克略以自己的希望下了賭注，他相信君士坦丁堡能夠抵擋住敵人的進攻。因此他沒有率兵回援，相反卻向安納托利亞進攻，他能在那裏不斷襲擊過往的波斯軍隊。這一戰略看上去取得了成功。波斯人現在既無法聚集強大的海軍襲擊君士坦丁堡，也無法將其軍隊運送到歐洲一側發動進攻。同時，8萬強悍的阿瓦爾戰士無法攻破君士坦丁堡堅固的城防，很快就作鳥獸散了。