李賢很小的時候就意識到母親不怎麽關注自己，但父親一直對他十分疼愛。他五六歲開蒙讀書，記心極好，每每在禦前背誦詩賦，都能博得父親嗟賞。父親還曾指著他向司空英國公李勣誇讚：
“此兒已讀得《尚書》、《禮記》、《論語》，誦古詩賦複十餘篇，一經領覽，過目不忘。我曾命他讀《論語》，讀到‘賢賢易色’，這孩子就再三覆誦。我問何為如此，他說打心裏喜愛此言，這可不是天生的聰敏孝悌麽？”
賢賢易色，事父母能竭其力，事君能致其身，與朋友交，言而有信——後來父親便以“賢”定為第六子的學名。其中所含對他的期望，李賢自然是明白的。
那時他大哥已經被立為皇太子，李賢的一生，原本也隻該作為藩王平穩度過。他愛讀書，也願意與眾多文人儒士一起修注經典整理舊籍，眼見著要走上昭明太子或貞觀十七年之前的四伯父魏王泰之路……然後大哥走了。
萬裏江山以如此倉促慘烈的方式突然壓到李賢的肩頭上，統領庶政的母親還對他日益敵視，他唯一的依靠，隻有父親始終不變的愛重鼓勵。
而今父親也當麵斥責他“糊塗”。
李賢閉上雙眼，僵硬地伏地叩首謝罪，自己都不知自己說了些什麽。然後母親開口，聲音是一片嗡嗡嗡嗡，說了好些話，最後幾句才微弱地傳進李賢耳中：
“……那個李仲寂隻會說大話，我早說此人不可用，你又不聽。唉，閻立德兄弟死後，朝中連個會修陵的人都找不出來，真是……”
李賢很想反駁一句“那麽請天後派人接手陵工”，但這話說不出口。修築恭陵是他能為大哥做的最後一件事，也是他立儲之後親自安排的第一樁政務，怎麽也不能以“交卸爛攤子”收場。
他隻能說：“臣再著工部和將作監薦合適大匠”。父母沒再說什麽，隻叮囑他萬不可再惹出民變之類的禍亂。