除了王珪和魏征擔憂李世民不安常理出牌外，齊王李元吉也想到了這一點，所以，他勸太子李建成除秦王李世民，說：“我當為兄手刃他！”
李世民曾跟隨李淵去李元吉的府邸，李元吉伏護軍宇文寶在寢室內，想要刺殺李世民。
李建成連忙阻止他，不想在父親的麵前殺死弟弟。
李元吉見李建成阻止，不由生氣說：“我是為了哥哥你打算，對於我自己有什麽好處！”
李建成要是也不按常理出牌的話，李世民有可能真的被他殺了！
他錯過機會後，看到李世民勢力壯大，自己確實也需要勢力，當下私自去募長安及四方驍勇二千餘人為東宮衛士，分屯左、右長林，號長林兵。又偷偷派遣右虞侯率可達誌從燕王李藝發幽州突騎三百人，安置在宮東諸坊。
他這樣大肆壯大自己勢力，當然是對他有利的，可惜的是，對一個人沒利，那就是皇帝李淵！
太子手上有那麽多勢力，他要是作亂的話，那李淵不是岌岌可危了？
有人把太子偷偷組建人馬的事上報給皇帝知道了。
李淵立即召見李建成，把他劈頭蓋臉地罵了一頓，然後流放可達誌於巂州，遣散他的人馬。
這樣一來，李建成感覺到自己位置的危險了！
楊文幹曾經宿衛東宮，與李建成關係親厚。
他看到自己起來的機會來了，當下偷偷私自招募壯士送往長安，讓李建成再次有了人馬。
李淵將去仁智宮，命李建成居守，李世民、李元吉都跟隨。
李建成看到除掉李世民的機會出來了，當下派李元吉殺了李世民，說：“安危之計，決在今歲！”又派郎將爾朱煥、校尉橋公山以盔甲送給楊文幹。
他們二人到了幽州，把太子的話帶給楊文幹，要他舉兵，使表裏相應。
這事給寧州人杜鳳舉知道了，他馬上詣宮密奏。