曹操軍還定陶，略事休整，不久便再次用兵。初平四年秋，率兵擊陶謙。陶謙，字恭祖，丹陽(今安徽宣城)人。其人性剛直，有大節，少察孝廉，拜尚書郎，除舒(今安徽廬江縣西南)令(或謂舉茂才，除盧令),遷幽州刺史，征拜議郎，參車騎將軍張溫軍事，西討韓遂；黃巾軍起，被任為徐州刺史；董卓之亂，天子都長安，四方斷絕，而陶謙卻經常遣使行致貢獻，朝廷因而升了他的官，封為安東將軍、徐州牧。
曹操為什麽要征陶謙呢?曆史上通常強調的是他為父報仇，這的確是重要原因之一。
曹操的父親曹嵩當時在泰山郡華縣，曹操“令泰山太守應劭送家至兗州，劭兵未至，陶謙密遣數千騎掩捕。嵩家以為劭迎，不設備。謙兵至，殺太祖弟德於門中。嵩懼，穿後垣，先出其妾，妾肥，不時得出，嵩逃於廁，與妾俱被害，闔門皆死。劭懼，棄官赴袁紹。”陶謙完全是有意殺了曹操的父親及其全家。就曹操的性格來說，此仇當然是一定要報的。
除此之外，曹操征陶謙還有另一個更重要的原因，那就是他急於壯大自己，擴大地盤。兗州地處冀州、豫州、青州、徐州之間。冀州、青州主要是袁紹的勢力範圍，曹操當時無力與其爭衡；豫州曾大多是袁術的勢力範圍，前期一仗，袁術已將其大本營遷到揚州境界；徐州則是陶謙的勢力範圍，力量相對為弱，且與兗州的關係重大。兗州刺史的勢力要發展，必須努力把青、徐置於自己的控製之下。於是，陶謙便成了曹操繼袁術之後的第二個討伐的對象。當時，曹操征討陶謙的借口是： “下邳(今江蘇睢寧西北)人闕宣聚眾數千人，自稱天子，徐州牧陶謙與共舉兵，取泰山華、費，略任城(今山東濟寧境)。”或謂陶謙與闕宣“始與合從，後遂殺之而並其眾”。也就是說，你陶謙竟曾助人謀逆，我當然有理由討伐你了。