傑斐遜分外珍惜他的友誼，就像他的四個好友也都分外珍惜和他的友誼一樣。傑斐遜的牧師老師莫裏除了傑斐遜外，還有其他四個學生，他們的年齡從14歲到16歲不等，其中一個是莫裏自己的兒子。而這幾個孩子都成了傑斐遜的密友。傑斐遜直到去世之前，都與這四個人當中的兩個一直保持緊密的聯係。保持緊密聯係的這兩人其中之一是詹姆斯·麥迪遜，他後來成了威廉瑪麗學院的校長，還有一個是小詹姆斯·莫裏，他後來離開弗吉尼亞前往英國經商。
大多數家庭在弗吉尼亞的農場都是相互孤立的，彼此之間相隔著大片稠密的森林和十分難行的道路。不過，夏洛茨維爾卻是例外，它靠近一條公路與過往路人落腳的旅舍。
傑斐遜在少年的時候，常見到各種各樣的人來來往往，舞蹈大師亞曆山大·殷格斯就曾教導他和他的四個姐妹跳舞；也有人教過傑斐遜拉小提琴和大提琴，並教他的姐妹們彈奏豎琴。後來，一位意大利音樂家搬進了這個地區，傑斐遜便開始定期地跟他學習小提琴。在後來的日子中，傑斐遜至少有12年的時間，每天要拉三小時以上的小提琴。從此之後，音樂在傑斐遜的生活中就成為經常給他帶來快樂的源泉之一。
在1759年的聖誕節前後，傑斐遜突然做出了一個重要的決定。他在新年那天跟家裏商議之後，決定前往威廉瑪麗學院就讀。傑斐遜認為去上大學對自己會有好處。首先，他覺得如果總是待在鄉村，會有四分之一的時間被浪費掉；其次，因為朋友經常來這裏玩，如果自己去上學，家裏就不會再有這許多朋友來，這樣就可以減少家中的開銷。更重要的一方麵是，他覺得如果去上大學，就會認識一些博學的朋友，以後對自己可能會有所幫助。
當然，或許真正抱怨“許多朋友”和“家中開銷”的是傑斐遜的母親。在那次的聖誕新年假期裏，各式各樣的聚會、宴會，足足搞了有兩星期，傑斐遜的姐姐瑪麗又要在1月24日出嫁。不過，即使傑斐遜真的是為這眾多的聚會和宴會所困擾，因此要去上學，但是明顯可以感覺到，父母對工作與責任的教誨已經深深刻在傑斐遜的心中，讓他感覺隻是如此的嬉笑和混日子是一種罪過。