劉備餘部駐紮在海西，軍隊給養供應困難不僅難以應付袁術、呂布的攻勢，而且連生存也成了問題。雖然劉備丟了家眷之後，麋竺進獻小妹，被納為夫人。麋夫人的娘家世代經商，積資甚豐，他靠夫人陪嫁的金錢，解了燃眉之急，但困難依舊很大，劉備在廣陵海西實在熬不下去了，想回到沛縣那裏，於是被迫向呂布投降。呂布本來是被曹操趕到徐州地界的，劉備在其顛沛流離之際準其在自己的地盤上立腳，他不僅不謀報答，反而利欲熏心，幫助袁術攻擊劉備。劉備在走投無路的情況下，反而倒過頭來又向呂布投降，真是莫大的諷刺。劉備回師，心知呂布勇武凶頑但無遠謀大誌，來日方長，可以慢慢與之周旋，便忍辱求和，呂布也樂得在立足不穩之時暫且罷兵，同意劉備退及小沛，兩廂情願，主客易位。
當劉備兵敗請降時，呂布正因袁術“運糧不複至”而惱火，想找機會給袁術點顏色看看，於是派出車馬迎接劉備來歸，並且他乘機剝奪了劉備徐州牧的頭銜，讓其掛名豫州刺史，屯駐小沛(治今江蘇沛縣東，屬豫州境),自己取而代之做了徐州牧，駐下邳，相約聯手抵抗袁術。據載，呂布還按照刺史的規格，為劉備舉行了歡送儀式：“具刺史車馬童仆，發遣備妻子部曲家屬於泗水上，祖道相樂。”當然這也是劉備所願意的，所以有些記載說，劉備還屯小沛是主動要求去的。總而言之，劉備做了一年半的徐州牧後，便被袁術和呂布趕出徐州境了。
劉備屯駐小沛後，企圖重整旗鼓，東山再起，袁術哪容劉備有喘息之機。不久，建安元年九月，袁術第二次向劉備用兵，派遣大將紀靈率步騎三萬進攻劉備。劉備新敗以後，兵力很弱，根本無力抗拒，於是又向呂布求救。
呂布的將領們對呂布說：“將軍常欲殺劉備，今可假手於(袁)術。"一語道破天機，透露了呂布對待劉備的真實態度。但呂布沒有這樣做，因為他明白自己與劉備勢如唇齒，唇亡而齒寒，暫與劉備成掎角之勢，有利於抑製、抵抗袁術的勢力，有利於穩定自己在徐州地區的地位，此時消滅劉備，無異於陷自己於不利，所以對諸將說：