常言道：“龍生龍，鳳生鳳，老鼠的兒子會打洞”，充分說明了出身的重要性。這話用在社會上，那就是一個令人有些絕望的現實，權貴世代為權貴，貧苦者世代貧苦，這不隻是因為遺傳因素，更多的是環境問題。
杜林的父親是涼州刺史杜鄴，學問精深，著作流傳後世，數千年不絕；杜鄴的外祖父是以給老婆畫眉著稱於世的張敞，官做到京兆尹，而張敞的祖父是上穀太守。可見這一家一百餘年世代為官，而且都是高官，可謂豪門大族。
在漢朝那個階層固化的時代，這種例子比比皆是。等到後來的魏晉南北朝，實行“九品中正製”的選官製度，階層固化已經十分嚴重，門閥士族把持朝政數百年，做官成了高門望族的專利，寒門子弟想出頭難比登天。
杜林生長在世代為官的環境之中，從小受到最好的教育，有最好的官場資源，想不成才都難，想不當官也難。
他年少時就好學，博學多聞，時人稱之為通儒，其精通《尚書》，是《古文尚書》的倡導者。在王莽的新朝時期，杜林做過郡吏，新朝滅亡後，他沒有在更始朝為官，而是帶著家眷離開關中，避居河西。
隗囂也是個有學問的人，而且特別喜歡有學問的人，對杜林很是看重。隗囂開始起事時，打著興複漢室的旗號，得到了避亂涼州的關中豪門的支持。等到他與更始帝鬧翻，逃出長安，回到隴西，再扯大旗時，情況發生了變化。
此時的隗囂失去了大義的名分，杜林、穀恭等關隴豪族對其產生了信任危機，尤其是他拒絕建世皇帝的征召、出兵攻打孫易軍之後，野心已昭然若揭，杜林、穀恭等人尋機離開隴西，由孫易派人護送，回到了長安，成了建世帝劉鈺的臣子。
劉鈺在鄭縣賑災，入長安城秋毫無犯，為他贏得了巨大的聲譽，尤其是儒生群體，對其讚譽有加，杜林認為自己得遇明主，可以實現自己的政治抱負，沒想到因為糧價一事，杜林對小皇帝的德行和能力產生了懷疑，尤其在其死諫被拘之後，更是對建世漢失望之極。