隋煬帝有文武才能，卻不修其德，仁義不施而終導致亡國。在齊家方麵，在對待兒女骨肉至親及處理家庭親屬關係方麵，隋煬帝同樣搞得是一團糟。雖然對皇後蕭氏的尊寵始終如一，無可指責，但對兒孫子侄卻未能盡善，以致父子相猜，骨肉相殘，儲宮陵夷，最後都不得好死。
隋煬帝的皇位競爭者兄長楊勇和小弟楊諒均敗死，四弟楊秀被囚禁，但隋煬帝仍不放心，對宗室諸王也加強了戒備，因為這些人是最可能覬覦皇位的人。隋煬帝即位後對同姓諸侯王“恩禮漸薄，猜防日甚”,其中曾為隋煬帝為蕭後姻緣牽線為使致禮的堂兄楊綸“尤被猜忌”。楊綸父滕穆王楊瓚是隋文帝同母弟，因反對隋文帝篡周， “遇鴆以死”。楊綸雖嗣父爵，在隋文帝時就“每不自安”,隋煬帝即位後更“憂懼不知所為”,心裏害怕極了。於是召神問鬼，占卜凶吉，術士王琛安慰楊綸“相祿不凡”,因為“滕即騰也，此字足為善應”。又有和尚惠恩也為楊綸占候。然而沒有不透風的牆，楊綸的舉動有人匯報給隋煬帝，隋煬帝的神經本來就繃得很緊，聞訊大怒，即令黃門侍郎王弘嚴查此事。
隋煬帝的另一位堂弟旦王楊集的處境與楊綸一樣不妙，他是隋文帝異母弟衛昭王楊爽之子，並嗣爵。楊集對隋煬帝的猜防也憂懼不知所措，呼術士俞普明祈福，結果被人告發。
隋煬帝要掃滅任何覬覦皇位者的異想，但當坐罪者已不能形成對自己皇位的威脅時，又不妨給點慈悲。對於骨血堂兄弟楊綸、楊集，隋煬帝表示不忍加誅，於是下詔： “雖複王法無私，恩從義斷，但法隱公族，禮有親親，致之極辟，情所未忍。”雖然宰相大臣議按舊章前律，依照法律，叛逆罪應處死，但隋煬帝權在法上， “法隱公族，禮有親親”,最後還是隋煬帝說了算。大業元