高熲真正徹底失去了楊堅的信任，是他輔佐漢王楊諒的時候。
楊堅派人攻打突厥，高熲進諫，楊堅不從。後來，出師無功而返。
獨孤皇後對楊堅說：“高熲當初就不讚成去攻打，是陛下堅持要他出兵，所以，我當然知道這一次出征無功了！”
她這話的意思很明顯，那就是高熲根本就不肯出盡力。
楊堅又以漢王楊諒年少，當下專委軍事於高熲。
高熲以任寄隆重，阻止了楊諒去做很多事。
楊諒心裏很恨他，於是，對他的母親獨孤皇後哭著說：“兒子有幸，沒有被高熲所殺！”
楊堅聽了，覺得高熲實在太過分了，心裏對他是“彌不平。”
不久，楊堅去秦王楊俊的府第，召高熲侍宴。
高熲去到之後，終於見到了楊堅，當下悲不自勝，不由哭了起來。
獨孤皇後也為之哭泣。
楊堅對高熲說：“我沒有辜負了你，而是你自己辜負了自己！”說著，對侍臣說：“我於高熲，勝過兒子，雖或不見，常似目前。自從疏遠高熲後，瞑然忘了，好像從來就沒有高熲這個人一樣。所以，人臣不可以要挾君主，自以為天下第一！”
不久，熲國令上書皇帝，說高熲的兒子對高熲說“司馬懿最初也是托疾不朝，後來擁有天下。如今父親你的遭遇和他一樣，誰知道就不是福氣！”
楊堅看了大怒，把高熲抓了起來，囚於內史省審問。
通過審問之後，審查出高熲結交沙門真覺，他曾對高熲說：“明年國有大喪。”另外，尼令暉也對高熲說：“開皇十七、十八年，皇帝有大厄，十九年不可過！”
楊堅聽了，頓時怒不可遏，對群臣說：“帝王豈可力求！孔子以大聖之才，猶不得天下。高熲與子言，自比晉帝，此何心乎！”
有司請斬高熲。
楊堅念在他的功勞和舊情，說：“去年殺虞慶則，如今又斬王世積，如果還殺高熲，天下人將說我是什麽皇帝！”於是下旨，罷免了高熲所有的管職，廢為百姓。