翠華山的書院建築坐北朝南，中軸線依序為集賢門、太學門、政和堂、敬一亭。
主體建築兩側有二廳六堂、禦碑亭、鍾鼓樓等，形成傳統的對稱格局，這是杜構借鑒長安城街坊的格局而建的。
前院東側有敬持門與孔廟相通，構成左廟右學的格局。在夾道上立有經刻石，包括周易、尚書、詩經、周禮、儀禮、禮記、論語、孝經、孟子、爾雅共計十部。
院內除了建有射圃、倉庫、醫所、倉庫外，教室、藏書樓、宿舍、食堂，就規劃了兩千餘間。
但這裏最引人矚目的就是到處都種著槐樹。走到一顆槐樹下拍了兩下後，轉身對杜構笑道：“真是該對你杜輔民刮目相看了，連麵三槐，三公位焉這道理都懂了。”
李承乾說著話是有出處的，自周代起，就有“麵三槐，三公位焉”之說，即在皇宮大門外種植三棵槐樹，分別代表太師、太傅、太保的官位。
古人的所謂:“登槐鼎之任”，即三公之位。所以在曆朝曆代，人們就把國槐視為“公卿大夫之樹”。
在長安的太學裏也廣植槐樹，喻示著監生們可以考中高官之意。在周代，國子監的內外就廣植槐樹，所以在曆代的國子監內外就沿周禮之製，都廣植槐樹。
自隋朝實行科舉製以來，其科考的考場叫“貢院”，因為是給國家遴選人才的地方，所以在貢院裏也是廣植槐樹。
杜構苦著臉說道：“殿下，這都是李師和張師傅的注意，臣可不敢居功。”
李承乾這麽說到事戳到杜構的痛處了，為這事李剛和張玄素拿著拐棍差點沒給他腿給打折了。
所以在他的逼問下，杜構道出了原委。原來這裏都是柳樹，杜構為了省錢所以就沒動。
柳樹因通“留”，故有惜別之意。是傳說中四大鬼樹之一，有聚集陰魂的之說。柳樹為陽性樹種，在民間多用於避邪及招風水。