禰衡年少時就有文采和辯才，但是傲得不行，喜歡針砭時事，除了自己，幾乎不把任何人放在眼裏。他說自己“天文地理，無一不通，三教九流，無所不曉，上可致君於堯舜，下可配德於孔顏”。這般自戀，整個三國獨一無二。
興平時期，禰衡在荊州避難，後到許都遊學。當時許都剛剛建立，讀書人、謀士，都從各地集中到這裏。禰衡雖然有才名，但一直沒有得到別人賞識，所以自認為懷才不遇，整天發牢騷。有人問禰衡說：“為什麽不去投奔陳長文（陳群）、司馬伯達（司馬朗）？”禰衡不屑一顧：“我怎麽能和殺豬賣肉的人結交呢！”
有人又問他：“荀文若（荀彧）、趙稚長（趙融）怎麽樣？”禰衡說：“荀文若可以借他的臉去吊喪，趙稚長可以讓他管理廚房膳食。”
禰衡在許昌待了很久，隻與兩個人關係還好，一個是孔融，一個是楊修。他經常說：“我大兒子孔文舉，小兒子楊德祖。其餘的人平平庸庸，不值得提。”孔融也有文人的狂放氣，並不在意禰衡的話，反而和他非常投緣。兩人經常在一起聚會，喝多了就互相吹捧，禰衡誇孔融“仲尼複生”，孔融稱禰衡是“顏回不死”。