杜牧出身高門顯貴之家。
在唐朝，門閥士族間也是有朋友圈的。華北的崔、盧、鄭、李、王號稱“五姓七家”，關中的裴、韋、柳、薛稱為“四姓”，山東是蘭陵蕭氏一家獨大，而在長安城內，卻是“城南韋杜，去天尺五”。“韋杜”兩家中的杜家出過貞觀名臣杜如晦，文壇上還有一個杜甫撐門麵，因而更顯風光無兩。
杜牧就是在這個書香仕宦之家長大的公子，家中排行十三，爺爺杜佑官至宰相，是一位留名千古的名臣。
對於自己的家庭背景，少年得意的杜牧曾自己作詩曰：
我家公相家，劍佩嚐丁當。
舊第開朱門，長安城中央。
他出身好，有才氣，眼界高，一出道便是一篇《阿房宮賦》，引得文壇震驚，至今仍是高中語文課本中的經典。
作賦的那一年，杜牧剛剛二十三歲，書香蜜罐裏泡大的孩子，未必就對戰國時的六國之禍和秦二世而亡有多大感觸，他寫這一篇賦文，十有八九倒是為了功名。
當時崔郾奉命到東都洛陽主持進士科考試，名士吳武陵親自上門拜見，給他推薦了一篇文章。
崔郾是主考官，本應當奉公無私，可這位吳教授是個大V，粉絲千千萬，不能不見，當下擺酒聽曲，想著席上顧左右而言他，把他搪塞過去就算了。
吳教授怎能看不出小崔這點心思？但他受杜家所托，非得給杜小公子掙個狀元回來不可，於是他一邊喝著小酒，一邊把文章攤開，一板一眼念了出來。
崔郾一開始還捂住耳朵，堅決表示“我不聽我不聽”，可才聽了四句，他就忍不住大呼：實在好文筆！再往後聽到“長橋臥波，未雲何龍？複道行空，不霽何虹”，哪裏還忍得住？一把搶過文章，如饑似渴地讀了下去。
全文讀完，意猶未盡，崔郾當下決定給杜牧一個進士名額。