仁壽四年(604)對皇太子楊廣來說是最難熬的一年，也是他政治生涯最關鍵的時刻。宮廷內權力爭奪暗流迭起，此時的政治鬥爭不講什麽規則，隻有強者詐者才可能出奇製勝。楊廣其人陰險詭詐，殘忍惡毒，終於喋血宮門登上了帝位。
在奪嫡鬥爭中，除兩個弟弟外，反對楊廣入主東宮的還有部分朝臣和州郡牧守，他們的攻擊目標主要是權相楊素。
楊素與楊廣狼狽為奸，廢太子楊勇和蜀王楊秀成功後，楊素“威權越盛”,朝臣中敢忤逆他者，就會遭到暗算或致處死，甚至誅夷全家。如治書侍禦史柳彧蔑視楊素，公開對抗，楊素借口治蜀王黨羽，以“內臣交通諸侯”罪，將柳彧除名為民，配戍懷遠鎮。而附會楊素的人，即便是無才無德，也會加官進爵。此時，內外大臣都屈從於楊素勢力， “朝廷靡然，莫不畏附”。敢於與楊素對抗的隻有少數幾個人。
首先出來反對楊素的是以性格“剛謇”、曆任諫官而有“鯁正”之名的定安烏氏人梁毗。仁壽二年(602),梁毗在任西寧州刺史十一年後征為大理卿，入朝後見楊素專權， “恐為國患”,乃上“封事”(密封專呈給皇帝的奏折)指出楊素為人陰險。奏章盡管激怒了隋文帝，但所言誠亮有節。梁毗並指陳：太子、蜀王罪廢之日，百僚無不震驚惶悚，唯楊素眉飛色舞，喜形於色，是視國家有難而以為自己的榮幸。梁毗發言謇謇，辭氣不撓，確實打動了隋文帝，動搖了楊素的地位，楊素“自此恩寵漸衰”。
粱毗率先攻擊楊素，少與楊素等“友善”的貝州長史河東聞喜人裴肅即起而響應，大膽地上書直接為楊勇、楊秀及高繼穎開脫，請求給他們“自新之路”。隋文帝見書，謂楊素曰： “裴肅憂我家事，此亦至誠也。”於是征裴肅入朝。這使楊廣緊張萬分，對心腹張衡說： “使(楊)勇自新，欲何為也?”張衡認為： “欲令如吳太伯、漢東海王耳。”也就是將楊勇、楊秀外封藩王，這顯然對楊廣不利。接踵而來的有尚書左丞李綱，更直接指陳楊勇“才非常品，性本常人，得賢明之士輔之，足嗣皇業。奈何使弦歌鷹犬之徒，日在其側，乃陛下訓導之不足”。認為是文帝教導無方，非楊勇之過，這更是為廢太子申冤。後來隋文帝召見裴肅，說明自己五子“並皆同母，非為憎愛輕事廢立”,表明楊勇“不可複收之意”,但楊廣心裏仍不踏實。