就在華盛頓宣布了不再繼任總統的講話之時，主動安排讓傑斐遜代表共和黨競選總統的不是傑斐遜自己，而是他最好的朋友麥迪遜。
當時選舉總統候選人並沒有正式的程序，候選人是在黨裏的預備會議當中產生的。傑斐遜了解這種事情後，沒有撤消自己的提名，而是不參加競選活動。當時的憲法還沒有經過第十二項修正案的修正，在那個憲法之下，不同黨派的候選人，有分別膺選為總統、副總統的可能，由獲得最高票的人勝出，擔任總統職位，而第二高的人就擔任副總統。聯邦黨派的約翰·亞當斯一點也不希望傑斐遜成為總統，也不希望傑斐遜成為副總統，因為傑斐遜與他意見總是相反的，兩人如果搭配起來，往往會造成許多政務上的危機。雖然在競選期間裏傑斐遜並不總是提到政治的事情，但是他仍然以608票對亞當斯的711票，當選為副總統。
1797年3月4日舉行就職典禮的時候，華盛頓身著黑色衣服，亞當斯穿著淺褐色的衣服，同時佩了劍和帽章，傑斐遜的頭發綁成了辮子，著藍色單襟到膝的長外套。典禮後三人離開大廳的時候，對於誰應該走在最前麵這個問題相互禮讓了一番，最後，華盛頓堅持亞當斯應當先行，然後是傑斐遜，最後是他。於是，美國終於通過了它的第一次考驗。對於權力的轉移問題，既不需要流血也不需要暴力，而是在謙恭禮讓之中完成。
傑斐遜紀念堂
傑斐遜終於還是回到了政治圈，而好友麥迪遜恰好相反，他在傑斐遜任副總統後就退隱到了弗吉尼亞的農場裏，直到後來傑斐遜出任總統的時候，他才再出任國務卿的職位。
傑斐遜擔任副總統一職的最初，曾經想過要與亞當斯恢複往日的情誼，但是此時的總統亞當斯在與他交談的時候卻說打算讓他去法國。這無疑給傑斐遜澆了一盆冷水，因為當時美國與法國之間的外交關係已經嚴重破裂。後來，傑斐遜發現副總統根本沒有什麽實權，這種無事可做的閑散日子很使他感到受到屈辱。後來，傑斐遜著手編纂了一本參議院規則的手冊，修整鬆弛的議事程序，裏麵的解說十分詳細，直到現在仍舊沿用。後來傑斐遜還擔任美國哲學學會的會長，暢談他多年前還曾經挖掘印第安墳崗的經曆，贏得了不少民聲。使傑斐遜與亞當斯越來越形同陌路的，除了在國內的事情之外，還有國外的事務。英法兩國處於交戰的狀態，由於拿破侖掌權，美法外交形勢更為嚴峻。國內許多人都認為法國馬上就要入侵美國，因此議論紛紛。1798年的國會幾乎成為了戰時國會。傑斐遜眼看著多數的聯邦主義人士，通過了20條戰爭法，中止對法貿易，授權緝拿法國海軍船隻，宣布廢止1778年簽訂的聯盟條約，下令建造海軍戰艦，並即刻征募10000人入伍，另外還計劃訓練地方軍50000人。