呂雉回到漢營，已是漢王四年（前203）八月，她在楚寨已度過了差不多三年的歲月。
項羽釋放太公夫婦和呂雉的直接原因，是楚漢戰爭的形勢發生了變化。雖然他在前線戰場上還暫時占著上風，但彭越在後方攻取梁地，截斷了楚軍的糧道，齊國的田橫率兵相助，彭越的力量一下子壯大了不少。韓信在正麵戰場上連連奏捷，占領齊地之後擊破了楚將龍且的二十萬大軍，使項楚有生力量受到了重創，況且楚軍的軍糧供應問題越來越突出，軍心為之渙散，很難再堅持下去了。
於是項羽在拒絕了劉邦派出的第一個議和的特使陸賈之後，終於接受了第二個特使——山陽說客侯成開出的議和條件，正式簽署了楚漢罷戰的“鴻溝和約”。按照這個和約的規定，以南北走向的鴻溝為界，中分天下，西為漢，東為楚。項羽下令放還呂雉、太公、劉肥等劉邦的家屬，並令鍾離昧退出堅守的滎陽，歸還劉邦，自己帶領楚軍東歸彭城去了。
呂雉離開楚寨時，楚寨這邊的將士們歡呼雀躍。到了漢城，漢城那邊的將士也山呼萬歲，打了這麽多年仗，雙方太需要和平了，哪怕這個和平是短暫的。
呂雉見了劉邦，百感交集。她相信楚漢議和的條約，是劉邦為了營救她和家人才向項羽開出的。
三年不見，劉邦憔悴蒼老了許多，這些年，他身受十二次重傷，那一次與項羽隔澗罵戰，被箭射中前胸，而他卻佯稱對方射中了他的腳趾頭，帶傷巡視各營，安定軍心，以至於傷情加重，幾乎要了性命。現在，她回到了他身邊，結束了三年多以來求生不得求死不能的人質生活，她以後的日子，是全心全意地照料這個男人，一步也不離開。
但很快，呂雉又陷入了更深的痛苦之中，她發現劉邦果然有了新的女人，而且不止一個，他身邊簡直就是一個美人陣。除了魏王府中的那幾個女人——薄夫人、趙子兒、管夫人、唐山夫人之外，還有一個戚夫人，——就是定陶的那位戚氏女——是最得劉邦寵愛的。這位戚夫人當時不過十八九歲，正是如花似玉的年齡，她不但長得漂亮，而且還是一個擅長歌舞的尤物，她的“翹袖折腰”的楚舞跳起來真是迷人啊，一雙彩袖能像蝴蝶一樣翩翩飛旋，她輕盈的身子隨著音樂翩轉，宛若飛仙。她還擅長鼓瑟，精通音律，她鼓瑟的時候，劉邦經常隨聲唱和。那一副陶醉的樣子，讓呂雉看了心像針紮一樣難受。