卻說太子廣詐謀百出，構陷兄弟，全虧楊素一力幫助，因得如願。素亦威權日盛，兄弟諸父，並為尚書列卿，諸子亦多為柱國刺史。廣營資產，家僮數千，妓妾亦數千，第宅華侈，製擬宮禁。朝右諸臣，莫不畏附。惟尚書右丞相李綱及大理卿梁毗，正直不阿，與素異趨。毗且上書劾素，說他：“權勢日隆，威焰無比，所私無忠讜，所進皆親戚，子弟布列，兼州連縣，天下無事，容息異圖，四海有虞，必為禍始。陛下以素為阿衡，臣恐他心同莽懿，伏願揆鑒古今，量為處置，使得鴻基永固，率土幸甚！”隋主覽奏大怒，收毗係獄，親加鞫問。毗毫不畏縮，且極言：“素擅寵弄權，殺戮無道，太子及蜀王得罪遭廢，臣僚無不震悚，獨素揚眉奮肘，喜見顏色，利災樂禍，不問可知。”隋主聽到此語，不由的憶念二子，發現天性，暗暗的吞聲飲淚，不願再鞫，乃命毗還係獄中，越日傳敕赦毗。嗣又詔諭楊素道：“仆射係國家宰輔，不應躬親細務，但閱三五日，一至省中，評論大事，便為盡職”等語。又出楊約為伊州刺史。素知隋主陰懷猜忌，更不自安；又見吏部尚書柳述，進參機密，得握政權，尤覺得心如芒刺，憤悶不平。好與楊廣同謀弑逆了。
先是隋主第五女蘭陵公主，下嫁儀同王奉孝，奉孝早逝，公主年才十八，隋主欲令她改嫁，晉王廣因妻弟蕭，正在擇配，擬請將公主嫁。偏是乃父不從，令適內史柳述。隋主最愛此女，更聞她敬事舅姑，力循婦道，益加心慰，遂累擢述至吏部尚書。廣既為太子，與述未協，並見述徼寵預政，越覺生嫌，再加楊素亦常憾述，眼見是虎狼在側，怎得相安？當時龍門人王通，具有道藝，講學河汾間，門徒甚眾，目睹朝政日非，孽子權臣，互為表裏，料知禍亂不遠，因詣闕上書，臚陳太平十二策。隋主不能采用，通即擬告歸。楊素夙慕通名，留通至第，勸他出仕。通答道：“通尚有先人敝廬，足庇風雨，薄田數畝，足供饘粥，讀書談道，盡堪自樂，願明公正己正人，治平天下，通得為太平百姓，受賜已多，何必定要出仕呢？”素聞通言，敬禮有加，因館待數日。有人向素進讒道：“通實慢公，公何故敬通？”素亦不覺生疑，轉以問通。通從容道：“公若可慢，是仆得計；不可慢，是仆失人。得失在仆，與公何傷？”素一笑而罷。不必多辯，已使權奸心折。通見素終未肯改過，便即辭歸，仍然居家課徒。後來唐朝開國，如房玄齡、魏征諸賢臣，皆受教通門。通至隋大業末年大業係隋煬帝年號，見下文在家病卒，門人私諡為文中子，毋庸多表不略王通，足補史傳之闕。