高穎被罷後，楊素“貴寵擅權，百僚震懾”,其勢如日中天， “無敢忤者”。
楊素受楊廣和獨孤皇後的委托，積極謀劃廢立，他“舞文巧詆，鍛煉成獄”,羅織罪名，使皇太子楊勇有口難辯。
楊廣還直接命令心腹段達去私下賄賂受楊勇寵信的東宮幸臣姬威，讓姬威暗中觀察太子動靜，一舉一動都向楊素密告。楊勇在四麵圍攻下已無法招架，楊廣見奪嫡時機已成熟，即果斷地命段達去脅迫姬威： “東宮罪過，主上皆知之矣，已奉密詔，定當廢立。君能告之，則大富貴。”這是誘使姬威上書，誣告皇太子楊勇圖謀不軌。
開皇二十年(600)九月壬子(二十六日),早已聽到不少關於皇太子壞話的隋文帝收到東宮官姬威的誣告書後十分緊張，認為楊勇真要動手搶奪帝位了，即從避暑之地仁壽宮(其址在今陝西省麟遊縣新城區)回到大興城。來時車駕嚴加戒備，如臨大敵，警衛重重。晚上睡覺怕出現險情，隋文帝竟從後殿遷到前殿居住。次日早朝，隋文帝以為朝臣都知道有關皇太子謀行不軌的事，即發問： “我新還京師，本應開懷歡樂，為何如此抑鬱愁悶?”希望朝臣呈報太子過失。但吏部尚書牛弘不知原委，忙稱“臣等不稱職，使陛下憂愁勞累”。隋文帝一聽文不對題，馬上板起麵孔，喝令將東宮官屬太子左庶子唐令則等逮捕，交官司訊鞫，並讓楊素宣陳東宮事狀。
楊素於是危言聳聽地訴說自己奉旨回京，令皇太子查核劉居士餘黨，太子竟公然抗拒詔旨， “作色奮厲，骨肉飛騰”。說： “居士黨盡伏法，遣我何處窮付?爾作右仆射，委寄不輕，自檢校之，何關我事?”楊素還添油加醋地編造楊勇的話： “過去禪讓大事要是不順利，我得先被誅，如今父親做了天子，竟乃令我不如諸弟，凡事不能做主。”這些極富挑釁性的誣陷，把隋文帝氣得怒目圓睜，火冒三丈。滿朝文武大臣聽後也都屏息流汗，誠惶誠恐。