楊廣當了將近兩年的太子後，仁壽二年（602）八月二十四日，獨孤皇後病逝，時年五十歲。她被尊稱為“文獻皇後”。
楊廣表現得萬分悲痛，拜見父皇楊堅時哀慟氣絕，泣不成聲，無法站立，但回到東宮後，他的舉止馬上恢複自然，可見是裝的。為了表示事母至孝，他還總是裝出茶飯不思的樣子。私下裏，他卻在衣袖裏藏了多個竹管，管子裏裝著精製的豬魚肉脯，管口用蠟封死。夜深人靜的時候，或者沒人的時候，他就趕緊抽出竹管吃上幾口美食，吃完了繼續哭喪。
當時，朝野上下並沒有因為太子廢立一事塵埃落定而安靜下來，相反是暗流湧動、爭鬥不斷。借著皇後的喪事，一些為楊勇抱不平的人紛紛上書，給楊勇爭取權益。
先是文林郎楊孝政上書說：“皇太子為小人所誤，宜加訓誨，不宜廢黜。”隋文帝楊堅讀後很生氣，動手打了楊孝政。接著貝州長史裴肅上表，請求仿照前朝的慣例，封廢太子為王。這道上表對楊堅的觸動很大，楊堅覺得天底下還有一幫人在維護楊勇，這出乎他的意料。他特地征召裴肅入朝，兩人麵談了楊勇的問題。雖然楊堅最終沒有封楊勇為王，但激起了朝中一批大臣相繼發難，更多的人則把攻擊的矛頭對準了尚書左仆射楊素。這引起了楊堅的警覺。
仁壽元年（601）正月，楊素拜為尚書左仆射，日漸獨斷專行、打擊異己，權勢膨脹。楊素的很多宗族子弟平步青雲，占據朝堂。楊素的所作所為招致了朝臣的不滿，楊家勢力的擴張也引起了楊堅的注意。皇帝在權力方麵都是非常敏感的，不允許任何人威脅到至高無上的皇權。
同情廢太子楊勇的大臣梁毗，上書揭露楊素擅權，說：“楊素所私皆非忠讜，所進鹹是親戚，子弟布列，兼州連縣。天下無事，容息異圖；四海稍虞，必為禍始。”楊堅開始還不相信，把梁毗打入監獄，親自審問。這一審問，改變了楊堅的態度。梁毗說楊素在太子楊勇、蜀王楊秀獲罪被廢的時候，“揚眉奮肘，喜見容色，利國家有事以為身幸”。