裴矩這句話說出來，當真石破天驚，當場就把楊昭震得吃了一驚。其實裴矩說的倒也沒錯，楊堅在開國之初，確實要算是位英明神武之主。但他即位二十年，如今年紀漸大，精力不濟了，近年來在施政上確有不如人意之處。而楊素為了鞏固自己權位，更是不理百姓死活，隻顧奉承天子，使民間頗有怨恨。
比如說開皇十三年，楊堅在岐州之北興建仁壽宮，令楊素監造。楊素奏請萊州刺史宇文愷檢校將作大匠，記室封德彝為土木監。為了盡快興建好宮殿以討好楊堅，遂“夷山堙穀以立宮殿，崇台累榭，宛轉相屬”。又“役使嚴急，丁夫多死，疲屯顛仆，推填坑坎，覆以土石，因而築為平地。死者以萬數”。開皇十五年，仁壽宮建成，楊堅準備駕臨巡幸。時值天熱，“役夫死者相次於道，楊素悉焚除之”，其手段委實聳人聽聞，令人發指。
尚書左仆射高熲得知此事以後，便如實奏報給楊堅知道。楊素惶恐無比，擔心受責備，一時束手無策。他身邊的記事封德彝，就出主意建議楊素向獨孤皇後求情。楊素於是大喜依計而行。次日，天子駕臨仁壽宮時，見宮殿如此奢華，當時即便大怒，道：“楊素殫民力為離宮，為吾結怨天下”。就召楊素問對。但楊素事先做好了獨孤皇後的工作，獨孤皇後就在旁邊替楊素幫腔。結果楊堅聽了枕頭風，不但沒有懲罰楊素，反而加以恩賞，從此對他更為信任。至於高熲反而逐漸受到疏遠。
之後因為廢太子楊勇和晉王楊廣的儲位之爭，楊堅更直接將高熲貶為庶人。楊素由此而得獨相。沒有了製肘，他更加肆無忌憚地提拔私人安置在朝廷的各個緊要位置，幾乎是隻手遮天。試想，假如沒有楊堅當日的放任，楊素的野心又何至於不斷膨脹，終於演變成今日這種最惡劣的結果？