在公孫瓚與袁紹相互攻伐初期，劉備一直以別部司馬帶兵同青州刺史田楷屯兵齊地，抗拒袁譚。時間不長，他聲名鵲起，他的治軍和為政能力就得到了時人，包括諸多州牧的刮目相看。因而，他很快便成了擁兵一方的軍事集團的首領和封疆大吏。因此，從客觀上說，自領兗州牧的曹操和徐州牧陶謙、冀州牧袁紹都為他的進一步發展提供了新的機遇。
193年，徐州牧陶謙的部下張閻殺了曹操全家，劫走財物，曹操興兵複仇，發生了曹操討伐陶謙的戰爭。
陶謙，字恭祖，丹陽郡(治今安徽宣城)人，時為安東將軍、徐州安徽宣城涇縣牧。陶謙親近小人，疏遠忠道，聽信讒言，刑政失和，良善被其害者不計其數，民多怨之。徐州本是穀米豐饒之地，在陶謙的統治下，變亂漸起。
曹操軍隊所到之處，殺戮人民，發指墳墓。曹操一路攻殺，很快逼近陶謙的大本營彭城(今江蘇徐州),陶謙東逃到保郯(今山東郯城)。據記載，“謙退保郯，操攻之不能克，乃還。過拔取慮(今江蘇睢寧西南)、睢陵(今江蘇睢寧)、夏丘(今安徽泗縣),皆屠之。凡殺男女數十萬人，雞犬無餘，泗水為之不流，自是五縣城保，無複行跡。初三輔遭李傕亂，百姓流移依謙者皆殲”。
興平元年(194)夏，曹操第二次發兵討伐陶謙，陶謙向青州刺史田楷和平原相劉備求救，田楷、劉備率兵往救。劉備當時可用之兵不過千把人，並且大部分是少數民族步兵和饑民組成的烏合之眾。陶謙為了得到劉備手下“萬人敵”的猛將關、張二人，撥給劉備四千兵馬，供他調度，這說明，劉備已經有了近萬人的部隊。他自認該是謀取更大發展的時候了，於是脫離了公孫瓚和田楷，歸附陶謙，率兵駐紮到陶謙的臨時駐地郯城附近。但是，這支剛剛拚湊的隊伍沒有很強的戰鬥力，再加遇上善於用兵的曹操，所以不久便吃了敗仗。幸曹操後院起火，陳留太守張邈和陳宮反曹操而迎呂布為兗州牧，曹操被迫撤離徐州，返回鄄城。否則，陶謙、劉備還會受到更大的打擊。這是劉備生平第一次同曹操的戰爭，遭遇到勁敵，親自體驗到曹操用兵之能和殘酷，從而在心中留下了懼怕與曹操交戰的陰影。