與房玄齡並稱為良相的是杜如晦，也有很好的出身，他的祖父杜果，在北周、隋朝之際就有名望。所以，杜如晦是個名門之後。
他年輕時就才能出眾、性格豪爽，同時喜歡讀書，以風流儒雅自詡，有臨難不苟的氣節，能當機立斷。
隋朝大業年間，他去參加吏部量才授官的考核，侍郎高孝基對他的才華感到驚異，說：“您當有國家棟梁的才能，望保持美德。”當下委任他為滏陽尉。
杜如晦看到隋朝將起，當下棄官而去。
他是個有智慧的人，所以，知道天下的形勢，知道隋亡唐興，當下去投奔李世民。
秦王李世民是個重人才的人，也聽聞了杜如晦的名聲，當下任命杜如晦為王府兵曹參軍，後改任陝州總管府長史。
不久，李建成教唆李淵調任李世民幕府的眾多僚屬遷升。
李世民見了，深為憂慮。
房玄齡對李世民說：“調離的人雖多，並不足惜，隻是杜如晦是輔佐君王之才，不能被調任！大王若始終掌管藩鎮，尚無關係；若要治理天下，舍棄杜如晦，就沒有共建功業的人！”
李世民警悟地說：“不是先生指明，我幾乎失去他！”當下奏請朝廷，將杜如晦留在幕府。
自此，杜如晦跟隨李世民，常常參與軍事機密。當時政多變故，杜如晦裁決處理事情毫無滯留，同僚一致公認他的才幹，無人見出他才能的限度。
李世民提升他為陝東道大行台司勳郎中，封為建平縣男，兼文學館學士。天策府建立後，他任郎中。
之後，他與房玄齡參與了李世民的玄武門事變，替李世民奪取了權力。
李世民立為皇太子後，他被授職左庶子，升為兵部尚書，晉封為蔡國公，食邑三千戶，另有益州食邑一千三百戶。
不久，任檢校郎中，代理吏部尚書，總領東宮禁軍，晉位為尚書右仆射，仍兼任吏部職務。