頭一個對高熲和蘇威因妒生恨的人，就是當初以武力護持楊堅攝政的盧賁。
在擁戴楊堅的人中，盧賁跟高熲一樣，都算得上是元老級人物。在盧賁自己看來，就算他的功勞總體來說不及高熲，但也不至於相差太多。可是，隋朝開國後，高熲貴為尚書左仆射兼納言，位在百官之首，盧賁卻隻當了個小小的太子左庶子（東宮侍從總管），隻有區區四品。如此懸殊的待遇，自然令盧賁深感不平。此外，就連那個長年躲在深山老林裏的蘇威，也一出山就獲重用，甚至身兼五職，比高熲還牛……如此種種，無不讓盧賁妒火中燒。
與盧賁有著同樣感受的，還有劉昉。
眾所周知，劉昉是把楊堅扶上攝政之位的頭號功臣，一開始也頗受楊堅器重，可自從他危急時刻掉鏈子、死活不肯上前線之後，在楊堅心目中的地位就一落千丈了，從此被日益疏遠。隋朝開國後，劉昉僅僅撈了個“柱國”的虛銜，其他職務一概沒有，這當然令他十分鬱悶。當時，與劉昉一樣對政治待遇深感不滿的大臣還有上柱國元諧、上柱國李詢、華州刺史張賓等人。
出於相同的怨恨和不甘，盧賁很快便與劉昉等人結成了利益聯盟，決定聯手扳倒高熲和蘇威，然後五人同攬輔政大權。為了增加政治籌碼，盧賁又瞄上了太子楊勇。當時，楊勇雖貴為太子，但楊堅夫婦最寵愛的還是次子楊廣。也就是說，楊勇的太子之位並不穩固。因此，盧賁自作聰明地認為，隻要向太子宣誓效忠，把他拉入自己的陣營，奪權計劃就十拿九穩了。隨後，盧賁便私下對太子說：“我一直想與殿下建立私人情誼，卻惟恐皇上降罪；如今鬥膽向殿下致意，願殿下體察微臣區區赤誠之心。”盧賁此舉貌似聰明，其實愚蠢至極。暫且不說楊勇敢不敢私自和他締結小集團，就算敢，這個小集團也很難在精明過人的楊堅眼皮底下搞什麽小動作。況且，大臣私自與太子交結，說輕了叫行為不檢，說重了就是謀反篡逆。所以，盧賁這麽做，隻能是玩火自焚。