楊堅到了晚年，不再那麽胸懷寬廣，不再那麽輕易寬恕別人，而是變得猜忌，變得眼裏不揉沙，變得動不動就杖責他人。
虞慶則、史萬歲等功臣故舊，先後被楊堅殺了，此外，法製逐漸遭到破壞，用法“不複依準科律”，頒布諸如“盜一錢以上皆棄市”、“三人共盜一瓜，事發即死”之類的苛刻刑法，百姓惶恐。
他還熱衷廷杖，“每於殿廷打人，一日之中，或至數四”。甚至，對於親兒子楊俊，他也不輕饒。
秦王楊俊滅陳回來之後，封為並州總管。
這時的他，開始奢侈了起來，違越製度，建立豪華的宮室。同時，也開始好色了起來。他這樣一好色，他的老婆崔氏，內心就受不了，再加本性好妒，於是，在瓜中放毒，要毒死楊俊。所幸楊俊命大，沒有毒死，隻是被毒病。
楊堅聽聞消息，便把他征還京師。
他認為，一切都是楊俊奢侈生活引起，於是，免了楊俊的管職。
而崔妃以毒害楊俊的罪，被廢絕，賜死於家。
左武衛將軍劉升進諫說：“秦王沒有其它什麽過錯，就是奢侈一點而已，我覺得可以寬容他！”
楊堅聽了說：“法不可違。”
楊素也進諫說：“秦王之過，不應至此，願陛下詳之！”
楊堅說：“我是五兒之父，就不是百姓的父親嗎？如果像你說的做，何不給天子的兒子們另外製一部法律？以周公的為人，尚誅管、蔡，我誠不及周公遠矣，安能虧法乎！”
所以，他堅持懲罰楊俊。
他這樣做，當然沒有錯，但是，也說明了楊堅開始容易猜忌苛刻了。
這樣一來，就給了楊廣謀奪太子位置的機會了！
曆史上的楊廣是非常殘暴昏庸的皇帝，我們拋開他做皇帝後的行為，且看他做皇帝前的行事，可以看出來，他是非常厲害的人，無論智商，還是情商，都非常的高。