李東陽是湖南茶陵人，但他出生在北京。因他父親是軍人，駐守北京。在明代，這種情況叫“戍籍”，即我們通常說的軍人子弟。李東陽從小就有“神童”之稱。傳說他四歲時就能寫徑尺大字。景帝想見見這位神童，便讓太監將他領進皇宮。因門檻太高，他邁不過去，太監取笑說“神童腳短”，他當即回答“天子門高”。景帝聽說後非常驚訝，將他抱在懷裏，賜他果鈔。稍長後，又兩次召他進宮講《尚書大義》，皆稱旨。景帝親自批條子，讓他入京師學堂入讀。天順八年（1464），十八歲的李東陽考中進士。他順利地被選拔為庶吉士，接著當上翰林院編修。他考中進士的當年，英宗駕崩，憲宗繼位。憲宗也很賞識他的才華，親自選拔他為侍講學士。在經筵上，憲宗對他的講課很滿意。當太子確立後，憲宗又任命他充任東宮講官，這位太子就是後來的孝宗。
李東陽少年得誌，但中年並未顯達。在憲宗執政的二十三年裏，他的官階隻到五品，且一直待在翰林院充當講官，從未外任。中國曆史中的多半朝代，凡任宰相者，一般都擔任過封疆大吏，幹過實際的行政，對世俗民情了解深刻，掌管全局後，便不會發生“紙上談兵”的笑話。但明代則不然，擔任內閣首輔的人，很少從封疆大吏中選拔，倒是都有“帝王師”的身份。從某種意義上說，給太子當老師比給皇帝當老師更重要。因為，太子一旦登基，立刻就會起用東宮舊臣。在明代，因為充當東宮講官後而成為首輔者，不在少數。前麵寫到的楊士奇是一例，李東陽是一例，茲後的徐階、高拱、張居正都是範例。
弘治五年，時任內閣首輔的徐溥以詔敕繁重，擬專設閣臣一人統管。憲宗同意，並拔擢李東陽為禮部右侍郎兼侍讀學士入內閣專管詔敕。李東陽的書法與文章，在當時已名滿朝野。應該說，徐溥的這一建議，是專為李東陽度身定製。就這樣，四十六歲的李東陽在他的仕途上邁上了一個大台階。如果說，此前的二十六年，李東陽在官場上是“小步走，不曾停”，此後，他便是“快步走，超常規”了。四十九歲時，他得憲宗諭旨參與內閣機務。也就是說，他對朝廷機密大事有處置權了。五十二歲時，他被晉升為太子少保兼禮部尚書、文淵閣大學士。僅僅六年時間，他從五品官升至一品，已是朝中舉足輕重的人物了。