曹操現在的當務之急，是攻打兗州東南方向的徐州。首先在戰略上，徐州是兵家必爭之地，曹操不打，袁紹一定要打，莫若自己動手，拿下徐州，名歸袁紹，實屬曹操。其次，徐州牧陶謙與公孫瓚聯盟，是袁、曹二人的後方威脅，打下徐州，兗州才能算得上鞏固。再次，徐州隻能由曹操打，因為黑山黃巾在冀州鬧得厲害，一度聯絡袁紹部下嘩變，攻下了鄴城。袁紹正在一心討伐黑山黃巾，無力將兵鋒轉向徐州。最後，一個最直接的原因，促使曹操下決心馬上就打：他的父親、故太尉曹嵩被陶謙的部下襲殺。
曹操的父親先前去青州琅琊避難，曹操做穩了兗州刺史，便讓泰山太守應劭將父親曹太公接至兗州。走到陶謙的地界陰平縣，守備此地的部將看曹太公的行裝有許多車，一時起了歹念，殺進賓館。曹太公讓人掘開後院牆逃跑，他讓小妾先從牆洞爬出去，可小妾太肥，堵在洞口，進退兩難。士兵衝至後院，曹太公及小兒子曹德被殺。應劭見交不了差，逃奔袁紹去了。應劭，字仲遠，有《風俗通》一書傳世，記載當時的典章、名物、製度、風俗、人物。其侄應瑒，後辟為曹操的府掾。
初平四年（193）秋，曹操親自出征，臨行前，他和陳留太守張邈告別，對家中人說：“我若不還，可依靠孟卓（張邈字）。”張邈少時，好遊俠，與曹操、袁紹是一起玩的小兄弟。關東起兵後，有一次他觸犯了盟主袁紹，袁紹讓曹操殺了他。曹操說：“孟卓，親友也。天下未定，幹嘛自相殘殺？”
曹軍一連攻拔徐州十多座城池，打到徐州首府彭城時，與陶謙大戰一場，陶謙敗走，退保郯縣。曹軍攻郯不克，便攻下了慮縣、睢陵、夏丘。曹操為發泄怒火，張揚他的孝道，竟下令屠城，所攻之處，雞犬不留，在泗水岸邊活埋並砍殺平民百姓十萬口，泗水為之不流。