李靖所憂心的正在步步成為事實。段誌玄領兵到了吐穀渾，令黨項部和契苾部為左右兩翼，一同殺向伏允的主帳所在地，孰料撲了一個空，僅見有散落在地的衣物及偶爾跑散的羊馬。段誌玄令人四麵打探消息，聞聽伏允帶領大隊向西逃去，即拔營向西追趕。
慕容伏允的腳步似乎一刻都沒有停止，段誌玄沿著其腳印追趕，始終沒有追上。這一日段誌玄追到青海湖之畔，再向西去，即是茫茫戈壁以及連綿起伏的祁連山脈。吐穀渾人似乎一下子消失了，不知道他們是躲入茫茫的沙磧之中，還是投奔了西突厥？
段誌玄眼望遠方，覺得此次征戰實在窩囊，自己窮追八百裏，卻未與伏允交手。他有心再追擊下去，又怕孤軍深入，反受伏允的暗算。唐軍來到這裏，早已疲憊不堪，且所帶糧草，基本上消耗殆盡。若再追擊下去，糧草接續成為大問題。段誌玄思來想去，遂萌生退意。於是，他將黨項、契苾兩部落首領召來，商量退兵之事。
契苾部首領契苾何力年僅二十七歲，其勇力過人，又善謀略，深得部族愛戴。他又一心向唐，很是盡心盡力。聽說要退兵，他立刻著急起來，說道：“段總管，我曾與伏允交手數次，知道其奸猾無比。我們窮追八百餘裏，而未與其交手，擺明是伏允設下的詭計。要想徹底擊敗吐穀渾，須有耐心。依我意見，可將大隊人馬化整為零，又彼此聯絡，一俟發現伏允的蹤跡，即圍殲之。我們若現在退兵，那伏允勢必帶領部眾卷土重來，此戰就前功盡棄。”
段誌玄歎道：“伏允的詭計，我豈能不知？隻是這裏去京師上千裏，糧草不繼，現在隊伍又人困馬乏，若貿然深入，實為敗招。”
“或者段總管帶領唐軍駐紮於此，我契苾部與黨項部追擊搜索，若能發現伏允的蹤跡，段總管再帶領大軍掩殺，這樣如何？”