在傑斐遜的一生中，真正給他留下最深刻印象的，不是他的父親而是他的母親。傑斐遜在回憶往事的時候，會常提到父親彼得·傑斐遜，但是，他對母親提及的並不是很多。
總的算起來，傑斐遜在27歲之前，除了有一次因為要學習法律不得已離開家一段時間之外，都是和母親一起生活的。但是無論在什麽時候，傑斐遜都極少提到母親。即使從他與人保持聯係的一千多封信件和其他聯係方式的記載當中，都沒有特別提到母親。算起來，傑斐遜隻有在他寫給舅舅的信裏以及他的《自傳》裏，各提到過一次，但是那些都是一筆帶過，沒有任何特殊之處。除了這些，傑斐遜在他的賬冊裏還提過母親四次，僅此而已。這個世上，絕大部分人還是深深愛著並依賴著母親的，傑斐遜也不例外。那麽，為什麽傑斐遜對母親提及甚少呢？隻可能有一個解釋，就是由於性格和家庭背景的影響，傑斐遜對於談論或者描述家庭中的女性感到有些羞怯，而這種羞怯會讓他盡量對母親或者家裏的其他姐妹避而不談。其實，傑斐遜的母親應該說在很多方麵都是值得他敬愛的，而母親也很樂意接受傑斐遜的敬愛與依賴。傑斐遜的母親來自高尚、儒雅而好客的富豪家庭，家裏有一百多名奴隸。母親和藹可親，為人熱情誠摯，舉止溫文爾雅，脾氣隨和，而且很有幽默感，並且她非常喜歡寫信。
傑斐遜與母親一起生活的時候，奴隸、收入、食物和其他的物品都是屬於兩人共有的。母親教會了他列賬目，把收入和支出的明細列到本子上，做成賬冊。這樣既能很好地理財，也能一目了然地看到自己的花銷和收入。於是，傑斐遜在母親的監督和教誨下，開始詳細記載每筆收支，傑斐遜很敬佩母親的智慧，一直都堅持記賬，他也一直認為這些記載是相當有分量的。每次他做完賬目賬冊的時候，都會想起母親的教誨，並且潛意識裏覺得如果賬目毀棄了，會產生很嚴重的後果。傑斐遜直到83歲去世的時候，都一直保存著曆年來辛辛苦苦記錄的賬冊。他叮囑妻子也要做詳細的賬冊，並且也將這些賬冊保存了下來。