大業十二年夏，四月初一，大業殿西院火，楊廣以為有盜賊來了，逃入西苑，藏在草叢裏，火熄滅後才出來。煬帝從大業八年以來每天夜裏都睡不安穩，常常驚悸而醒，說有賊，必得命幾個婦人搖撫才能入睡。
四月初七初七，曆山飛的部將甄翟兒率眾十萬人攻打太原，將軍潘長文兵敗身亡。
五月大朝會，煬帝向侍臣詢問盜賊的情況，左翊衛大將軍宇文述說：“逐漸減少。”
煬帝說：“比過去少多少？”宇文述回答：“不及過去的十分之一。”
納言蘇威躲在柱子後麵，煬帝把蘇威叫到座前問他，蘇威回答：“我不是管這方麵的官員，不清楚有多少盜賊，但賊患距京越來越近。”
煬帝問：“為什麽這麽說呢？”
蘇威說：“過去盜賊隻占據長白山，如今已近在汜水。況且往日的租賊丁役現在又在什麽地方呢？這難道不是人們都變成盜賊了嗎？近來看到上奏的賊情都不是實情，於是措施失當，對盜賊不能及時地加以剿滅。還有，以前在雁門時，已經許諾停止征伐遼東，現在又征發士兵，盜賊怎麽能夠平息？”
煬帝聽了不高興，就作罷了。不久到了五月五日，百官中很多人都上貢珍玩之物，唯獨蘇威獻上《尚書》，有人詆毀蘇威說：“《尚書》中有《五子之歌》，蘇威的含意很不恭敬。”煬帝更加生氣。過不久，煬帝向蘇威詢問征伐高麗的事情，蘇威想讓煬帝了解天下有很多盜賊的情況，就回答說：“現在征遼之事，但願不要發兵，隻要赦免群盜，自然可以得到幾十萬人，派他們去東征，這些人對被赦免罪過感到高興，會競相立功，高麗就可以被平滅。”
煬帝不高興，蘇威就退了出來。禦史大夫裴蘊奏道：“這太不恭敬了！天下哪裏有許多盜賊？”煬帝說：“這老家夥極為奸佞，拿盜賊來嚇唬我，我想打他嘴巴，暫且再忍耐一下。”