虎賁郎將司馬德戡是楊廣的寵將，在江都混得不錯，但還是想逃回關中。他拉著虎賁郎將元禮和楊廣多年的貼身侍衛、直閣裴虔通兩人一起密謀西歸。三人又輾轉拉上了內史舍人元敏、虎牙郎將趙行樞、勳侍楊士覽等人同謀，商量怎麽才能既避免楊廣的追殺，又突破各地起義軍的攔截，安全地逃回家去。司馬德戡這個小團夥一開始還偷偷摸摸地聚會，後來人越聚越多，上頭也沒有過問，就堂而皇之地公開議論叛逃的事情了。
有一個宮女聽到司馬德戡一夥人的商議後，趕去報告蕭皇後：“外間有人謀反。”蕭皇後說：“你直接報告給皇上。”宮女就跑去向楊廣匯報。楊廣聞言大怒：“你一個宮女，知道什麽國事，到處妖言惑眾！”結果這個可憐的宮女被活活打死了。自此以後，宮中再也沒人敢說外麵的消息了——盡管太監宮女們都知道司馬德戡等人的活動進展情況。
司馬德戡一夥人商量來商量去，決定在大業十四年（618）三月十五日結伴西歸。趙行樞和宇文智及的交情很深，而楊士覽又是宇文智及的外甥，兩個人就找他密謀，把司馬德戡的決定全盤托出。
宇文智及想了想，說：“楊廣雖然無道，威力尚在，你們擅自逃走，恐怕也會落得竇賢那樣的下場。”
趙行樞二人忙問：“那如何是好？”
宇文智及神秘地說：“隋亡已成定局，方今英雄並起。我看同心西歸者已達數萬人之多，因行大事，此乃帝王之業也。”說完，他做了一個拔刀的手勢。
趙行樞和楊士覽麵麵相覷，傻了。他們敢成幫結隊地開小差，謀劃逃亡，但要說殺了楊廣，推翻隋朝，他們還真沒這個膽。愣了半天，趙行樞才說：“欲行大事，必有一主帥。我等幾個，人微言輕，難當重任。看來隻有宇文公兄弟，才能擔此重任。”他把皮球踢給了宇文智及。