回師許都後，曹操忙裏偷閑幹了一件排除異己的事。他借口太尉楊彪是袁術的姐夫，讓司法部門指控楊彪欲圖廢立，大逆不道，拘捕審訊。他把矛頭對著世代公卿的楊彪，意在一舉兩得：其一，曹操對世家大族又拉又打，他需要他們的家財和勢力的支援，對荀氏等大族就采取了拉攏的手段；又擔心他們看不起自己的出身，因而又必須削弱他們。楊氏是有名的高門，搞垮他可以殺一儆百。其二，天子都許以來，自己在外南征北討，而天子周圍總有一班漢室舊臣圖謀收權，甚至與袁紹、袁術等人暗中往來，自己要挾天子以令諸侯，就不得不稍稍學習一下董卓，讓漢室的天子近臣俯首帖耳。他在天子身邊安插了侍臣，又籠絡了不少舊臣。現在，他還要借懲治楊彪，向漢室示威。
孔融聽說，來了氣。他見到曹操，說楊彪四世公卿，海內所瞻。《周書》裏麵講：父子兄弟，罪不相及。何況袁氏與楊氏的關係呢？曹操說這是國家的意見。孔融回答：如果周成王殺了召公，周公能說不知道嗎？孔融以年幼的天子比年幼的成王，而分別以曹操和楊彪比輔弼重臣周公與召公。
曹操對孔融也有氣，這個人是自己在蔡邕家裏相識的老朋友，但任氣使性，仗著才氣足，經常陰陽怪氣地戲弄自己。一次曹操見糧食緊張，下令禁酒，孔融竟寫信說：“天有酒旗之星，地有酒泉之郡，人有愛酒之德，故堯不飲千鍾，無以成聖。況且桀紂以好色亡國，為何您不下令禁絕婚姻呢？”其實孔融知道，曹操最喜歡的正是酒色。曹操內心的慍怒，被禦史大夫郗慮揣摩到了，便彈劾孔融，使之免官在家。可孔融仍是賓朋滿座，歡宴達旦。他對大家說：“座上客常滿，樽中酒不空，我無憂矣！”曹操想想算了，又把太中大夫這個閑職給了孔融。今天見他又為楊彪說情，還那樣引經據典，令人生厭。他不回話。孔融急了：“天下人指望明公輔弼漢室，至於太平，可明公卻橫殺無辜，海內失望，誰不解體？孔融，魯國男子，明日當掛衣而去，不再上朝！”說完，拂袖而去。