當畫像快繪好時，魏征病得很沉重。太宗去看望他時，他那張勞累過度的臉龐，因蒙上層死灰色而變得更難看，太宗忍不住心中一酸落下淚來。魏征用虛弱的聲音給了太宗最後的忠告。他說，賢者和愚者同樣都有欲望和喜怒哀樂的情感，不同的是賢者能控製這些七情六欲，而愚者卻辦不到，這就是賢愚的差別所在。陛下您有崇高的聖德，又時常以隋朝的覆亡為戒。現在雖處太平盛世，仍不忘了危急的時候，做任何事都能謹慎小心，但願今後您能更進一步地自律，使這份美德有始有終完整無缺，若能做到這點，我相信天下生民世世代代都能蒙受您的恩澤的。
太宗恭謹地凝聽，點頭哽咽地說：“您的教誨我會牢牢地記住，別人都說你行為放肆，對我沒有一點禮貌，這些人哪能知道你耿直無隱的勸誡給了我多大的幫助！這世間隻有我才能從你那毫不通融的神色中，看出忠貞感人的一麵啊！”
貞觀十七年（643年）年底，魏征去世了，享年六十四歲。太宗哀痛欲絕，不但廢朝五日，並加贈司空、相州都督等職位，頒諡號文貞，陪葬紹陸。
出殯那一天，太宗更命羽葆鼓吹，班劍四十人列隊送葬，又贈陪葬品絹布千段、米栗千石，可以說是備極哀榮。這時，哀容滿麵的魏夫人卻神色堅定地請求太宗收回這些奢華的物品。她說，先夫出身貧寒，生性儉樸，今日以這一品官職以及這些奢華的珍品陪葬，這決不會符合先夫的誌願，請陛下原諒我的直言，但是儉樸的用具是先夫一向用慣的，請陛下收回這些華麗的東西吧。太宗答應了，原本極其隆重的權臣葬禮，一變而為無文彩飾物、布車載柩的平民式葬禮。
“古人說：‘把銅片磨亮了做鏡子，可使人看出自己的衣貌是否整齊；拿曆史上的事做鏡子，就可以知道朝代興盛、消亡的原因；用人來做鏡子，就可以看出自己行事的缺失與成就。’我常常以這三麵鏡子做自己行事的準則，如今魏征不在了，我已失去一麵明鏡了！”太宗無限淒楚地感歎。