在麗貝卡·伯韋爾結婚以後的好幾年內，傑斐遜貌似對所有的女人都懷有敵意，比如說他摘錄一些拉丁詩句，指責女人是紅顏禍水，說她們不忠不貞、不禮不智。
1765年7月20日，傑斐遜追憶他的姐姐簡，說她很會唱歌，音色十分甜美。在很多時候夏天的黃昏裏，在靜靜的河流岸邊，人們常常可以聽到她的歌聲，伴著傑斐遜的小提琴聲，一起傳送到鄰居那裏。當他的姐姐簡去世的時候，傑斐遜十分悲痛，以後偶爾提到簡時，傑斐遜的言辭裏總是充滿著讚賞與愛意。1771年，傑斐遜計劃興建自己的房子，其中包括家族墓地，他還想把簡遷葬，那時候，他的姐姐已去世六年了。
傑斐遜在姐姐簡去世後的第二年春天，開始記載《園藝簿》。
1766年3月20日，他寫下的第一件事，就是有名的“紫色的風信子開始開花”。4月6日，他寫道：“水仙和蒲空（罌粟科植物的一種）花開了。”4月13日，他23歲生日那天，又寫道：“蒲空的花謝了。”他從這時就開始了記述植物還有花草的種種，比如小麥、煙草與蔬菜。傑斐遜開始創作《園藝簿》，記載下這些嬌嫩的花草，以及有著甘甜汁水的水果等的繁盛與枯萎的情況，也許是他覺著生命本就特別脆弱，而且感情也是脆弱無比，都需要嗬護與關愛。所以他將現實移植到了花草蔬果上麵。
1767年8月3日，“蒙特沙羅”這個詞第一次出現在《園藝簿》上。傑斐遜記敘了在蒙特沙羅經過嫁接的普通櫻桃成熟了的情景。而這時，傑斐遜似乎已有周全的計劃，為了蒙特沙羅，他打算自己夷平一座山頭，並且開鑿一口深井，解決澆灌的問題。之前，他將建造的這個房屋稱為“何密特基”，距離母親住的夏洛茨維爾隻有4英裏，後來才改成“蒙特沙羅”。當然，夷平一座山頭的工程，是相當困難且需要花費很多錢才能完成，所以傑斐遜在等候的這段時期內，開始像瘋了似的在母親夏洛茨維爾的家裏到處種植花果蔬菜。