潁川荀氏是一個世家大族。荀彧祖父荀淑，曾任朗陵（今河南確山西）令，在漢順帝、桓帝之時，有名當世。荀彧父荀緄，濟南相，叔父荀爽，官至司空。荀緄、荀爽兄弟共八人，皆是名士，也稱“八龍”。緄、爽兩人最賢明。荀彧生活在這樣一個大家族中，門第書香的熏陶，使他有很高的文化素養，在少年時就受到南陽名士何顒賞識，稱他有“王佐之才”，而遠近聞名。
荀彧二十六歲時舉孝廉，拜守宮令。這一年正是公元189年，董卓入京，京師大亂。荀彧請求外出補吏，做了亢父（今山東濟寧）縣令。荀彧並不到任，他回到故鄉對父老們說：“潁川是四戰之地，趕快離開這個地方，天下將要大亂了。”人們並不相信，依然懷戀故土，不肯離鄉。荀彧隻好帶領全家投奔河北冀州牧韓馥去了。不久關東兵起，董卓西遷，派部將李傕等擄掠潁川、陳留等地，荀彧的鄉人大多遭殺害，這才認識到荀彧有先見之明。在冀州，袁紹把韓馥趕下了台，把荀彧奉為上賓。但荀彧經過一段觀察，看出袁紹隻是布衣之雄，“終不能成大事”，毅然離開袁紹，投奔了曹操。這時曹操在兗州，正在網羅人才，思賢若渴，見了荀彧隻恨相見甚晚。曹操欣然說，“我的子房來了”，立即任用他為司馬，這一年荀彧二十八歲，時為公元191年。