貞觀三年,公元629年，李世民授予房玄齡太子少師官銜。
他堅決推辭，隻任代理太子詹事，兼任禮部尚書。
這一事，充分顯示了房玄齡的懂得進退。
也正是如此，李世民更加的看重他。
第二年，就讓他接替長孫無忌任尚書左仆射，改封爵號魏國公，同時主持編撰本朝曆史。
房玄齡統管朝廷各部門政務以後，更是忠於職守，從不懈怠，盡心竭力，不願出現一點失誤。
他聽到別人的優點長處，就像是自己有那優點長處一樣高興。他熟悉百官的情況，多講優點來鼓勵他們，研究製訂法律條例，立意是寬容公正。取用人才不求全責備，不用自己的長處苛求別人，按照才幹安排職務，出身低微也無妨礙。
公眾輿論讚揚他是賢相。
他有時出了差錯被皇上批評，就一連幾天在理事的朝堂裏叩頭請罪，惶恐不安，好像無地自容。
貞觀九年，因維護李淵的陵墓製度有功，加賜開府儀同三司名號。
貞觀十一年，跟司空長孫無忌等十四人一起被封為世襲刺史，按照這個身份任宋州刺史，改封爵號梁國公。
貞觀十三年，提升為太子少師，房玄齡多次呈表請求免去尚書左仆射職務。
李世民批複說：“選賢任能的關鍵，應以不存私心為根本；事奉國君的原則，應以當仁不讓為美德。各個時代都靠這弘揚教化，所有賢良都靠這協調關係。你忠誠謙恭，正直厚道。天下混亂之時幫我謀劃建立功業，玄武門事變之前幫我掃平登極道路。你為朝臣們樹立了楷模，按法度處理政務；輔佐太子，聲望成就都如此顯著。可現在忘掉了根本原則，拘泥於瑣細規矩，雖然接受了太子少師的職務，卻推辭襄理政務的重任，難道這就是所說的輔佐我一人共同安天下嗎？”
房玄齡於是擔任尚書左仆射的同時兼任太子少師。