傑斐遜在總統的任期之內，遇上了很多人的死亡。卡倫德的死確實讓他長長地舒了一口氣，但是他的一些老朋友，比如塞繆爾·亞當斯、埃德蒙·彭德爾頓等也都相繼去世了。而在傑斐遜競選總統的前幾個月時間，跟他同歲而且一直是如影隨形的服侍著他的老奴也去世了。
1801年裏的一段時間，傑斐遜突然患上了赤痢，他原本以為自己也要死了，就對自己的病守口如瓶，後來他堅持每天騎馬兩小時鍛煉身體，竟然痊愈了。
1804年年間，傑斐遜的二妹瑪麗在1月去世，隨後他的愛女波麗在4月也不幸去世。7月裏，艾倫·伯爾在決鬥場一槍打死了亞曆山大·漢密爾頓。1806年，喬治·威思被心狠手辣的侄孫用砒霜毒死了。1809年，趕往太平洋岸探測而成英雄人物的梅裏韋瑟·劉易斯，在一次自殺事件中也去世了。
1802年，傑斐遜的女兒瑪莎和波麗的丈夫同時都被選入國會，傑斐遜堅持讓他們住進總統府，像對待自己的兒子一樣。傑斐遜對兩個人所表現出來的敬愛也是十分滿意的。傑斐遜以內舉不避親的胸懷，竭盡所能地協助他們兩人發展事業，並以謹小慎微的方式對待兩人，與他們經常討論政治方麵的問題。傑斐遜更喜歡埃普斯多一點，因為他秉性開朗活潑，而鬱鬱寡歡的倫道夫，時不時地要使幾下他的壞點子。
1804年2月15日，波麗生下一名女嬰，也取名叫瑪莎。女兒雖然日益成長，作為母親的自己身體狀況卻每況愈下。當傑斐遜知道她的胸部長了膿瘡並且嘔吐不止的時候，他讓她丈夫一定要從蒙特沙羅帶回一些真醇的陳年雪利酒過去。他催促波麗的丈夫帶她來蒙特沙羅過夏天。奴隸們做了個擔架，非常小心地抬著這個年輕的母親，走了很長的路，爬上了小山頭。4月17日，傑斐遜的愛女波麗去世了，這時她才25歲。