楊素見到白馬寺老方丈忙上前道：“方丈大師，陛下言及兵馬住在寺外恐擾了佛門清靜，今日特來禮佛，有勞大師了。”
白馬寺住持也不言語，隻是請身在佛前點了三柱清香交由楊素，楊素轉交至楊廣手中，說來也怪那柱香在方丈與楊素手中俱煙霧繚繞，到了楊廣手中居然香滅煙盡。
住持方丈見此低頌了聲佛號，楊廣麵色變幻，隨後將手中之香擲於寶殿之中怒道：“我父皇走的路，號稱與天平齊，小小佛陀也敢戲耍本王，真是豈有此理！”
楊廣言罷奪門而出，楊素還想挽回，最終張了張嘴終是沒能說出口，隨即與楊廣一道出了寶殿直奔寺外而去。
寺外楊廣仍然氣憤不已，連道豈有此理，見到楊素出得寺來，楊廣開口道：“太傅你也見到了，今日非是我不誠心，實是佛門欺我，今日起取消佛門一切封賞！”
楊廣之言徹底與佛門決裂，金口玉言，便是楊素也無法改變，本來此番楊素想一路相勸楊廣，不曾想最後鬧得這般結局。
木已成舟，楊素當即道：“陛下此番洛陽之事已定，我與大司禮監工，不日便動工興建皇宮，朝中不可一日無君，陛下還是速回長安才是。”
楊廣因白馬寺之事心中不暢，聽到楊素之言，當即道：“那這洛陽城便交給太傅了，我今日便回轉長安。”
長安城中，這日早朝，兵部尚書上奏在北方增兵，司徒劍不敢定奪，喚人請來了駐守在城外的楊林，楊林數十年來南征北戰，深知北方高麗軍隊的強悍。
那兵部尚書所言並不無道理，若高麗大軍強驅直入，劫掠北方，到時必定更加動**，但此事幹係太大，最終二人快馬加鞭命人將奏折與二人建議一起送往了楊廣所在。
楊廣正在歸來途中，收到楊林奏表，楊廣雖覺有禮，一時卻無合適人選，無奈之下隻得待回長安之後再議。