楊玄感是老丞相楊素之子，出身顯貴之家，官至禮部尚書，這個被楊廣委以重任的人怎麽會造反呢？一切都得從頭說起。
楊素既是隋朝的開國功臣，又是楊廣奪取太子之位、登基、平叛的關鍵功臣。楊廣當皇帝後，楊素權傾朝野，無形中對楊廣形成了巨大威脅。楊廣內心非常忌憚，對楊素“內情甚薄”，表麵上禮遇有加，卻找借口讓楊素多休息，不讓他參政議事。太史官說隋地所屬的分野將有重大的喪事發生，楊廣馬上把楊素從越國公改封為楚國公，因為楚地和隋地屬同一分野，楊廣想借楊素來攔擋喪氣。
大業二年（606），楊素病重不起，楊廣頻繁派遣名醫前去診治，還賞賜許多藥品。但暗地裏，楊廣逼問太醫：“楊素什麽時候死？”病榻上的楊素不肯吃藥，弟弟楊約就勸他要吃藥養病。楊素悲哀地說：“我難道還要活下去嗎？”楊素死後，楊廣對近臣感歎說：“楊素不死，終當滅族。”現在楊素死了，楊廣可以放心地給他立碑頌功，讚揚楊素“垂名跡於不朽，樹風聲於沒世”，是“竭盡誠節”的“茂績元勳”。
楊素沒了，楊廣依然提防著楊家。
楊玄感是楊素的長子，長得體貌雄偉，有一副漂亮的須髯。但他小的時候呆頭呆腦，有人就懷疑楊玄感的智商不正常。楊素堅定地對眾人說：“我這兒子一點都不癡。”長大後，楊玄感文武全才，很快升為二品官，在朝堂上和父親楊素並列而立。楊堅看到後，給楊玄感降了一等官銜，楊玄感拜謝說：“想不到陛下如此寵愛微臣，在公廷之上讓我有機會敬奉父親。”轉任地方官後，楊玄感表現出很強的組織能力，對地方上的大小事務知道得一清二楚，屬下官吏不敢有絲毫隱瞞。楊素死的時候，楊玄感正在擔任宋州刺史，因為父憂去職。翌年，楊玄感被起用為鴻臚卿，繼承了楊素楚國公的爵位，不久又升遷為禮部尚書。