1809年的時候，傑斐遜回到了弗吉尼亞養老。他的親朋好友都希望他馬上開始寫回憶錄，但是他一再婉言拒絕。直到他到77歲的時候才開始寫自傳，隻是，他很不願敘述自己的私生活，總是記載他事業裏的一件件沒有任何味道的事跡，傑斐遜寫了60多頁之後，就覺得談論自己實在是沒什麽用處，直到他把1789年離開巴黎的事情寫完，就把寫回憶錄的事全部都拋棄了。
傑斐遜即使在77歲的時候仍然像27歲時那樣充滿了理想。此時他正積極地準備籌建弗吉尼亞大學，把他那好像永遠用不完的精力都花在這個大學的興建上。
傑斐遜在兩個著名建築家的幫助之下草擬了校內大部分建築的藍圖。傑斐遜同時還計劃好了課程，盡力挑選了課程的教授，其中大部分是來自歐洲的學者。
自從退休以來，傑斐遜就在白楊林的農莊建造了第二個居所，用來躲避那些蒙特沙羅的訪客。為了弗吉尼亞大學，傑斐遜把校園設計成自己認為最嚴肅而讚賞的樣式，後來他還加以修改變化，讓它適合大學的實際需要。
傑斐遜建立的弗吉尼亞大學
弗吉尼亞大學校內有個圓廳，是他照著羅馬的萬神殿為模型而設計的，用來當圖書館用的，但是傑斐遜本來打算把它用作星象館，讓星星在各自的位置上投影出來，而且可以讓一個人在可移動的座位上操作。雖然學校建成後與傑斐遜之前的設計有些差別，但是大學仍舊是美國文明中最傑出的建築設計之一。
傑斐遜為他的大學所設計的課程，也是美國教育史上的一大成就。大學的課程包括現代和古代語言、純數學、陸海軍的興建、機械學、光學、天文學、氣象學、地理學、解剖學、物理化學、礦物學、哲學、博物學、法學、純文學與美術，隻是沒有宗教方麵的學科，而醫學的研究也隻是限於理論方麵。