劉備代陶謙為徐州牧，袁術極為不滿，於建安元年（196），發兵攻打。劉備領兵迎擊，留張飛守下邳（今江蘇睢寧西北）。袁、劉兩軍交戰，各有勝負，相持不下。“袁術與呂布書，勸令擊下邳，許助以軍糧。布大喜，引軍水陸東下。”（《資治通鑒》卷六十二）張飛到下邳後，與下邳相曹豹不和，在爭執中殺死曹豹。曹豹係陶謙舊部，有一批部將，他們在曹豹死後反叛，抗拒張飛，“堅營自守，使人招呂布”。呂布得人內應，“大破益德兵，獲備妻子軍資及部曲將吏士家口”（《三國誌·呂布傳》裴注《英雄記》）。張飛大敗而逃，走歸劉備。而劉備又被袁術打敗，失去下邳，走投無路，隻得求和於呂布，呂布還其妻子。不久，呂、劉因戰馬發生衝突，劉備敗北，投奔曹操。
建安三年（198），曹操破呂布，邀劉備與關、張同去許昌。為了標榜自己敬賢愛士和籠絡劉備等人，曹操表劉備為左將軍，拜張飛為中郎將。次年，胸懷大誌的劉備借事出許昌，殺曹操所置徐州刺史車胄，反曹。他留關羽守下邳，自己去小沛（今江蘇沛縣）。“劉備走小沛，張飛隨之”（《三國誌·明帝紀》裴注《魏氏春秋》）。曹操立即派兵攻打，不克。建安五年（200），他便自率大軍征討。“先主敗績。曹公盡收其眾，虜先主妻子，並禽關羽以歸”（《三國誌·先主傳》），劉、關、張因此失散。劉備投奔袁紹去鄴，“駐月餘日，所失亡士卒稍稍來集”。後他領兵攻許下，關羽亡歸，三人才又在一起。建安六年（201），劉備為曹操所敗，張飛隨其依劉表，駐新野。
建安十三年（208），曹操征荊州，劉備奔江陵。在當陽長阪（今湖北當陽），曹軍精騎驟至，劉備軍招架不住，潰散四逃。劉備棄妻子將士逃命，令張飛將二十騎斷後。張飛立馬橫矛，據沮水斷橋邊，二十多名騎兵布列身後。曹兵來後，見狀不敢貿然而進。張飛便怒目厲聲大喝道：“身是張益德也，可來共決死！”他的英勇氣概，使“敵皆無敢近者”，劉備因此得以安全退卻。