初平三年（192）劉岱被黃巾軍擊殺。曹操入兗州，召辟程昱，程昱欣然應命。臨行，同鄉友人不解，問他：“前拒後從，如此不同，何也？”程昱笑而不答。曹操見到他，交談後大喜，授以壽張（今山東東平）令一職。
曹操東征徐州時，程昱、荀彧等留守鄄城（今山東鄄城）。當時，張邈、陳宮等反叛曹操而迎呂布入主兗州。兗州郡縣紛紛響應，隻有鄄城、東阿、範（今河南範縣）三縣未動。為了奪取兗州全境，陳宮領兵去取東阿，同時派汜嶷取範城。荀彧得知消息，慌忙對程昱說：“今叛亂遍及兗州，隻有這三城在我們手中。若陳宮重兵圍城，三城軍心浮動，將被攻破。君，民之望也，去東阿和範縣鼓動人心，大概可以穩定軍心。”局勢十分危急，荀彧要借重程昱在東阿一帶的威望，遏止叛亂繼續蔓延，穩住三縣陣腳。
程昱到了範城，見到縣令靳允，向他曉以守降的利害。程昱說：“方今天下大亂，英雄並起，然而必定會有命世之才，來平息混亂。”自古至今，得主者昌，失主者亡。他希望靳允認清形勢，選擇良主而依。誰是良主呢？程昱指出：呂布“粗而少親，剛而無禮，匹夫之雄也”；陳宮等人，更不足為伍。他們目前兵將雖眾，終將失敗，無所成就。而曹操“智略不世出，殆天所授！君必固範，我守東阿，則田單之功可立也”。如追隨叛亂，違忠從惡，將家破人亡。何去何從，“願君詳慮之”！靳允聽後，流涕曰：“不敢有二心。”於是，殺掉來勸降的汜嶷，堅守城池。
程昱又到東阿，東阿令棗祗正率領吏民據城堅守。程昱就與兗州從事薛悌同心協力，多方謀劃，保全了三城。兗州是曹操在軍閥混戰中拚力廝殺奪來的一塊立足之地，倘若兗州全部喪失，他將無地依存，流離失所。所以，當曹操從徐州歸來，得知還保全了三城，便拉著程昱的手，感歎道：“不借助程公之力，我將沒有地方可以去了！”於是，表程昱為東平（治所在今山東濟寧南陽湖東岸）相，住在範縣。