魏征的名臣之路開啟之後，官職一直往上升。
貞觀二年，公元628年，魏征升任秘書監，參預朝政。
魏征看到國家因經曆喪亂之後，圖籍散失，製度、法令紛亂繁雜，當下奏報朝廷組織學者校定四部書。幾年之間，秘府中收藏的書籍，精要而又完備。
他對李世民做得不對的地方，也繼續規勸。
李世民到九成宮遊玩，宮人住在官舍裏。
不久右仆射李靖、侍中王王圭到來，縣吏便把宮人移到別的住所，讓出官舍給李靖等人住。
李世民聽說這件事後，龍顏大怒說：“威力福祿的權柄，難道是由李靖等掌握的嗎？為什麽禮待李靖而輕視我的宮人！”立即命令審查縣吏和李靖等人。
魏征忙勸阻道：“李靖等人，都是陛下的心腹大臣，宮人不過是後宮打掃庭院的奴婢。論他們付托的使命，事理各不相同。再說李靖等外出，官吏要向他們詢問朝廷法度，他們回來，陛下要向他們詢問民間疾苦。李靖等理所當然要與官吏相見，官吏也不能不拜見他們。至於宮人，供奉飲食之外，無須參見侍候。如果因此怪罪責罰官吏，恐怕有損皇上的聲譽，使天下人聽了感到驚駭。”
李世民聽了，說：“您說得對。”於是，開釋了官吏的罪名，李靖等仍然住在官舍裏，也不再查問了。
不久，太宗在丹霄樓設宴，飲酒之中酒興正濃時，太宗對長孫無忌說：“魏征、王王圭，從前在東宮，盡心侍奉隱太子建成，當時那麽忠心也確實可惡。我能提拔任用他們，以至今日，足以說明我是無愧於古人的了。但魏征每當他進諫我沒有聽從時，我發話他就不馬上答應，這是為什麽呢？”
魏征聽見李世民這樣說自己，當下回答說：“臣認為事情有不合適的地方，所以才進諫，如果陛下不聽規勸而臣馬上答應，那恐怕事情就會照樣施行。”