玄武門之變後，有人向秦王李世民告發當時正在東宮為官的魏徵。說他當初曾參與過竇建德與李密的起義軍，在兩人大敗後，又來到長安，歸順太子李建成，並慫恿李建成殺了秦王李世民。
聞言，李世民眉頭一皺，果斷命人將魏徵傳來。
見到魏徵，李世民勃然大怒，嗬斥道：“你為何要在我兄弟之間挑撥？”
懾於秦王的威嚴，眾大臣均屏住呼吸，忍不住為魏徵捏一把冷汗，心道這是要算魏徵的總賬了。隻見魏徵麵不改色，坦言道：“如若當初他聽了我的話，也不至於發生今天的事了。”
此言讓李世民頗為震驚。此人有膽有識，不用委實可惜。就在眾大臣汗流浹背之時，李世民卻出乎意料地並未動怒，也沒怪罪魏徵。反而歎息一聲：“罷了，過去的事就不要再提了。”不久，李世民即位，並任命魏徵為諫議大夫。
皇帝不記舊恨，大膽提拔曾對自己起了殺機的臣子，這可謂少有的創舉。不但如此，李世民還鼓勵大臣們要勇於直諫，一時間，大臣們臣心高漲，大舉進諫。特別是諫議大夫魏徵，更是直言不諱，對朝中大事細分詳究，其卓學淵識頗受李世民的器重。因此，便不時召魏徵入宮，商議國事，聽取他的意見。
一日，李世民問魏徵：“為什麽曆年的皇帝，有些明智，有些則昏庸呢？”
魏徵略一思索，道：“兼聽則明，偏聽則暗。”隨後，他又列舉正反兩例，來反複論證這句話，“堯、舜兩位先帝，人們之所以說他們聖明，是因為他們善於納諫，能聽得進不同意見；而秦二世、梁武帝、隋煬帝，貪圖享樂、不理朝綱、不聽民聲，整日花天酒地，荒唐至極。前者之所以聖明，因廣開言路，心係百姓；而後者之所以昏庸，因久居深宮，被所謂的親信蒙蔽，罔顧百姓的死活，下情不能上達，故而國不久矣！”