初平三年（192），青州黃巾軍向兗州推進，殺刺史劉岱，一時州中無主。曹操故友鮑信及州吏萬潛到東郡，迎請曹操到兗州主事。曹操出任兗州牧後，領兵於壽張（今山東東平）攻擊農民軍。農民軍奮力抵抗，殺死鮑信，但損失過重，不得不向濟北（今山東濟南長清區）撤退。曹操縱兵窮追，黃巾軍戰敗投降。曹操得降兵三十餘萬，男女百餘萬眾。他選拔其中精銳，號為“青州兵”，發展壯大了自己的武裝力量。
曹操在兗州還未喘過氣，朝廷委派的兗州刺史金尚來就任。曹操毫不客氣，派兵迎擊。金尚奔南陽，求救於袁術。袁術聯合公孫瓚，向曹操和袁紹進攻。袁紹先擊敗公孫瓚，初平四年（193）春，曹操也擊敗袁術，在兗州站穩了腳跟。這年秋天，他揮戈徐州，準備向東發展勢力。
徐州牧陶謙曾助公孫瓚威脅兗州，其部將張闓又將曹嵩殺死，並且搶去大批財物。曹操以替父複仇為名攻入徐州，連下十多個城池，屠殺百姓數十萬，直抵彭城（今江蘇徐州）。由於軍糧不濟，於興平元年（194）春退兵回兗州。同年夏天，他又領兵征徐州，連得五城，“所過多所殘戮”。進至下邳（今江蘇睢寧西北）時，遭徐州軍堵截。此時兗州發生內亂，曹操聞訊，急速撤軍而回。
曹操征徐州，以荀彧、程昱留守兗州。陳留太守張邈對曹操任州牧，位居自己之上心中不悅。陳宮也因兗州名士邊讓被曹操借故殺害而心存疑懼。二人串通，利用自己在兗州的影響，趁曹操東征、內部空虛之機，舉兵反曹，迎呂布來兗州作州牧。一時間，“郡縣皆應”，僅鄄城（今山東鄄城）、範（今河南範縣）、東阿（今山東東阿）三地在曹操手中。曹操回軍，同呂布戰於濮陽，攻入城後，巷戰不利，險些被呂布騎兵抓住。他騎馬衝出火陣，手被燒傷。兩軍相持一百多天後，均因軍糧用盡，各自退兵。曹操戰場失利，兗州地盤大半喪失，軍隊乏食，處境艱難。