隋大業三年（607）九月二十三日，隋煬帝回到東都洛陽，北巡活動圓滿落幕。
大隋需要一統江山，萬國來朝，東突厥的歸順隻不過是其中一步棋而已。回到洛陽之後，隋煬帝就將目光轉向了西域。
早在北巡之前，隋煬帝就已經吩咐吏部侍郎裴矩去管理西域胡人（高昌、焉耆、龜茲、吐穀渾等國）比較集中的張掖地區（今甘肅省張掖市）。
裴矩（547—627），河東聞喜人，出生在官宦世家，擔任過北齊、北周的公務員，後來被楊堅看上，直接提拔為高級幕僚。隋朝滅陳的時候，裴炬便跟隨在楊廣的身邊，負責收集南陳的機密信息。
隋朝安撫嶺南的時候，裴炬又是總負責人，他當時帶著數千名精兵，一路恩威並施，橫掃整個嶺南，一直打到南海地區，立下汗馬功勞。
隋朝和突厥人交鋒的時候，裴炬跟隨在行軍總管史萬歲的身邊，後來隋軍打了勝仗，史萬歲卻被隋文帝冤殺，裴炬的功勞被一筆勾銷。
裴炬一生都在和外族打交道，經驗豐富，手段奇多，是朝中有名的多麵手。
臨行之前，裴炬就料到了，隋煬帝可能會對西域各國動手。到達張掖之後，裴矩將管理工作交給下屬，自己則天天在外麵遊曆，尋找西域各部落的胡人聊天，將各國的山川地理、百姓習俗、風土人情、服飾禮儀弄得一清二楚。
裴矩最後的成果就是一本涉及西域四十四國，多達三卷的《西域圖記》，還有一張繪製了西域所有國家和重要交通節點的地圖。
裴矩在書裏總結了幾點看法：
第一，自秦朝以來，曆朝曆代的統治者都有一個錯誤的認識，他們覺得西域諸國是不服王化的胡虜，不可能將他們徹底征服。
第二，朝廷雖然設置了管理的官署，但是管理結果卻令人不甚滿意，而且這些國家經常發生叛亂，管理的難度非常高。