開皇十二年，公元600年十月，隋文帝廢掉太子楊勇，十一月，改立楊廣為皇太子。
這時候，最看楊廣不順眼的，就是他的四弟楊秀，他覺得，楊廣可以當太子，他也可以當！並且，他擁兵一方，隻要父王一死，他立即舉兵反楊廣！
可惜，他碰到的對手是楊廣，他想奪位成功，是非常困難的。
楊秀自小就膽氣豪壯，再加上容貌雄偉，美須髯，多武藝，朝廷百官對他非常敬畏。
隋文帝常對皇後獨孤伽羅說：“楊秀一定不會善終！我活著時候，應當不用擔心；我死以後，他的哥哥治國，楊秀必定造反！”
這一點，顯示出了楊堅的知人之明。
兵部侍郎元衡出使蜀地，楊秀與元衡深交，請求給他擴大部屬，增加官佐。
元衡回京師後，代楊秀上奏，隋文帝不予批準。
西部邊境出現戰事，朝廷命大將軍劉噲率兵征討。
隋文帝又令上開府楊武通統兵，作為後續部隊，繼續開赴前線。
楊秀委派自己日常寵愛狎昵的萬智光到軍中，擔任楊武通的行軍司馬。
隋文帝以為萬智光難以當此重任，譴責楊秀用人不當。
他對群臣說：“違犯我所製定的法律的人，必然出現於我的子孫當中。這就像猛獸一樣，強有力的外敵都無法傷害，但它卻會被毛間小蟲叮咬、吸食。”
自此，隋文帝逐步削奪楊秀的權力，分職別任。
楊秀這樣一被分權，實際上是很難和楊廣匹敵了！
他如果明白形勢的話，就不會去和楊廣作對，因為，隋文帝都是站在楊廣這一邊，自己想爭取一下權力都不得，那還拿什麽去和楊廣比？
楊秀還有一點和楊廣沒法比的，就是他奢侈浮華，追求享樂。
楊廣不管他是裝的，還是真的，他始終在節儉著。
楊秀違反製度，超越規格，車馬服飾，均比照天子所用樣式添置。