宇文化及殺人立威之後，任命左武衛將軍陳棱為江都太守，然後令內外戒嚴，準備還長安。
此時的宇文化及，擁眾十餘萬，據有六宮，自奉養一如隋煬帝。
但他是個沒什麽主意的人，所以，每次帳中南麵而坐，人有稟報事情，他就嘿然不對。等到散朝的時候，這才與唐奉義、牛方裕、薛世良、張愷等參決。
至於皇帝楊浩，他就叫他在尚書省，派衛士十餘人監守，派令史取皇帝的畫敕，百官也不用去朝拜皇帝了。
宇文化及帶著眾人，一路來到了彭城。由於水路不通，便去奪老百姓的牛車二千部，然後載宮人的珍寶；至於戈甲戎器，便令軍士背著。
這樣一來，弄得士兵們疲憊不堪，開始抱怨萬分。
宇文化及這時候才知道隋煬帝為什麽不回去，因為回去實在是太麻煩了！
司馬德戡私下對趙行樞說：“你大錯啊！誤了我啊！當今撥亂，必須借助英賢；而宇文化及庸暗，一幫小人在側，事將必敗，怎麽辦？”
趙行樞聽了說：“在我們而已，把他廢了，有什麽難的？”
他說得輕巧啊，想廢掉宇文化及，哪裏會那麽容易？因為他小心謹慎，隨時防備著別人作亂。
司馬德戡聽了趙行樞的話，決定廢除宇文化及！
他和宇文化及也早已貌合形離。
宇文化及剛得權力時，對司馬德戡還不錯，賜他溫國公，加光祿大夫，專統驍果兵營。
這時的司馬德戡權力在手，對宇文化及也沒什麽意見。
但宇文化及對司馬德戡很猜忌，想著奪取了他的權力。
過了不久，宇文化及給諸將分配士卒的時候，把司馬德戡升任為禮部尚書，對外看似升遷，實際上就是奪了他的兵柄。
司馬德戡由此憤怨，但是，兵權被奪，拿宇文化及一點辦法都沒有！
他當下把所獲的賞賜，全部去賄賂宇文智及。