對徐州虎視眈眈者大有人在，曹操、呂布都盯著這塊大肥肉，袁術自然也不肯落後。
袁術突然出手，發兵進攻徐州。劉備派小弟張飛留守下邳，自己領軍在盱眙、淮陰一線阻擊袁術，雙方勢均力敵，互有勝負，相持一個多月。
張飛是一員猛將，上陣殺敵是他的能事，但管起政事來就不大得心應手了。很快，張飛就跟下邳相曹豹鬧翻了。曹豹是陶謙舊部，估計是看劉備、張飛這夥外省人不順眼，難免橫眉冷對。張飛本來就是黑道混出來的，才懶得去擺事實講道理，他隻擅長白刀子進紅刀子出，遂一刀結果了曹豹。這一殺不得了，陶謙舊部嘩然兵變，下邳城頓時陷入混亂之中。
當袁術得知下邳兵變的消息，意識到這是推翻劉備的絕佳機會。他馬上給呂布發去一封密信，勸他趁機襲取下邳，還答應給他提供糧食。對呂布來說，這簡直是喜從天降。
我們說過，呂布這個人，隻知道別人要感他的恩，自己卻從來沒有半點感恩別人之心。說白了，他就是十足的投機分子。呂布原本駐軍於下邳以西，有了袁術的支持，他悍然發兵，由水陸兩路東下，奔襲下邳。劉備的麾下中郎將許耽開城投降；張飛奪路而逃，但逃得太急，一不小心把大嫂給忘了。劉備的妻子落入呂布之手，同時還有其他將士的家眷，悉數成為人質。
這是三國版“農夫與蛇”的故事。
劉備是好心的農夫，呂布則是一條毒蛇。老巢失守，劉備無心戀戰，急急忙忙回師下邳。然而，將士們的家眷都成了呂布手中的人質，已經沒幾個人有死鬥之心了，到了下邳城，將士們早就逃的逃、散的散了。
屋漏偏逢連夜雨。在劉備狼狽不堪之際，袁術的進攻並沒停止。劉備左右受敵，隻得收羅殘兵敗將，鼠竄至廣陵郡。他並沒能擺脫困境，在接下來與袁術的戰鬥中，又一次大敗，退守海西。這時劉備前有強敵，後有大海，如果再不能扭轉局勢，很可能被趕下海喂魚了。