很多人一定會說，傑斐遜在有著6個兄弟姐妹的家庭中，受到父親的器重和鼓勵，在家中必然是十分受寵的，是最有希望的繼承人，受盡家人和朋友，還有許多奴隸特別的優待，這樣才合乎他當時的地位，這樣他以後才能夠有能力當上總統。
但是，事實並非如此。傑斐遜的童年並不像許多人想象的那麽簡單。傑斐遜自己所記得的第一件事，就是在一個河邊，有一隊奴隸，一個騎馬的奴隸抱著他，然後這一隊人便起身走向河的下遊，走向了吐卡霍。
前麵我們也說過，威廉·倫道夫曾經給了傑斐遜的父親一片土地，讓他建造夏洛茨維爾那個家，後來威廉·倫道夫一直都是傑斐遜家的朋友。威廉·倫道夫的妻子在1742年之前就已經去世了，留下了兩個女兒和一個兒子。由於威廉·倫道夫自己總是疾病纏身，就邀請傑斐遜的父親和其他人一起協助管理他的產業，並請求傑斐遜的父親，如果他什麽時候去世，請他全家搬遷到威廉·倫道夫的家裏來，請傑斐遜的父親將兩家的子女合在一起撫養，傑斐遜的父親很爽快地答應了。不久，威廉·倫道夫就病逝了。於是，傑斐遜的父親按照之前與威廉·倫道夫的約定，於1745年，全家日夜兼程地走了大約80英裏，搬到了吐卡霍。傑斐遜說自己所記得的第一次騎馬過河去往吐卡霍，就是指的這件事。
這次搬家，傑斐遜除了感到疲憊與苦惱，還有其他的事情讓傑斐遜印象深刻。
來到了吐卡霍，傑斐遜住進了十分陌生的房子，那裏還有一個9歲和一個7歲的女孩子，還有一個名叫托馬斯的4歲男孩。這幾個孩子已經有自我意識了，知道為了保護自己而去欺負弱小。搬到吐卡霍之後，傑斐遜突然由家中的長子變成了最幼小的，這樣的情況一直持續了7年。傑斐遜在回憶威廉·倫道夫家的托馬斯時說，自從五六歲以來，他們便像兄弟一樣親密，也像兄弟一樣團結。但事實是，在二人長大成人之後他們便相互敵視與攻擊，並且曾經因為財產的問題發生過爭議。在吐卡霍，傑斐遜雖受盡威廉·倫道夫家的男孩托馬斯的欺負，卻也經常得到姐姐瑪麗的保護與鼓舞。不過在眾多的姐妹裏，傑斐遜最喜歡的是簡，二人的姐弟情誼十分深厚。