兩年之後，李靖滅東突厥，俘虜了頡利可汗，帶回了蕭瑀的姐姐蕭皇後，卻殺了義成公主。
蕭瑀十分氣憤，上書彈劾李靖亂殺無辜，縱容士兵劫掠了突厥的府庫、吞沒了突厥許多金銀財寶。但是唐太宗沒有搭理他，反而賞賜了李靖，並任命李靖為右仆射。
不過，蕭瑀終於可以常常見到自己的姐姐了，這讓他開心許多。然而他自始至終都看不慣那一班平民知識分子，一直和他們發生抵牾，也因此一直讓唐太宗煩惱。
此後蕭瑀一次次被罷相，又一次次被任用。李世民總是因為被惹煩了就罷他的官，可在罷免他之後又想起他的種種優點，任何人都不曾擁有的、獨特的優點——完全純粹的無私，於是又不得不讓他官複原職。
計蕭瑀一生，總共六次罷相，最嚴重的是第六次，他直接被趕出京城。
讓人驚異的是，唐太宗的《貶蕭瑀手詔》被保留了下來。當我第一次讀到這篇文字時，頓時感覺仿佛穿越了一千五百年的時光：
朕聞物之順也，雖異質而成功；事之違也，亦同形而罕用。是以舟浮楫舉，可濟千裏之川；轅引輪停，不越一毫之地。故知動靜相循易為務，曲直相反難為功，況乎站上下之宜，君臣之際者矣。
朕以無明於元首，期托德於股肱，思欲去偽歸真，除澆反樸。至於佛教，非意所遵，雖有國之常經，固弊俗之虛術。何則？求其道者，未驗福於將來；修其教者，翻受辜於既往。至若梁武窮心於釋氏，簡文銳意於沙門，傾帑藏以給僧祗，殫人力以供塔廟，及乎三淮沸浪，五嶺騰煙，假餘息於熊蹯，引殘魂於雀鷇，子孫覆亡而不暇，社稷俄頃而為墟，報施之征，何其繆也？而太子太保宋國公瑀，踐覆車之餘軌，襲亡國之遺風。棄公就私，未明隱顯之際；身俗口道，莫辨邪正之心。修累葉之殃源，祈一躬之福本，上以違忤君主，下則扇習浮華。往前朕謂張亮雲：“卿既事佛，何不出家？”瑀乃端然自應，請先入道。朕即許之，尋複不用。一回一惑，在於瞬息之間；自可自否，變於帷扆之所。乖棟梁之大體，豈具瞻之量乎？