袁紹出身於東漢後期一個勢傾天下的官宦世家。從他的高祖父袁安起，四世之中有五人官拜三公：父親袁逢，官拜司空；叔父袁隗，官拜司徒；伯父袁成，官拜左中郎將，早逝。
雖說家庭背景相當顯赫，但袁紹本人的家族地位並不高。這是因為袁紹的母親很有問題。
公孫瓚在討伐袁紹時，發布檄文列舉袁紹的罪狀，其中第九條罪狀揭了袁紹身世的老底：
“春秋之義，子以母貴。紹母親為婢使，紹實微賤，不可以為人後。以義不宜，乃據豐隆之重任，忝汙王爵，損辱袁宗，紹罪九也。”
由此可見，袁紹的母親並不是袁逢的正妻，甚至也不是妾或側室，隻是“婢使”，一個使喚丫頭或者女傭之類的地位卑微的女子。袁紹據冀州之後，天下豪傑紛紛前來歸附，他弟弟袁術很生氣，說道：“群豎不吾從，而從吾家奴乎？”可見，雖是同父所生的親兄弟，但在袁術眼裏，袁紹壓根不是哥哥，隻是“家奴”而已。袁術為什麽這麽看不起袁紹？就是因為袁紹的母親地位太低了。
雖說因為家世背景，袁紹的仕途起步比很多人要高，但相比於袁術還是低了些。十常侍之亂的時候，袁紹是中軍校尉，袁術是虎賁中郎將，中郎將的級別高於校尉。董卓霸權的時候，為了拉攏人心，升袁紹為渤海太守、邟鄉侯，升袁術為後將軍、陽翟侯，後將軍的地位堪比九卿，高於太守，陽翟侯是縣侯，地位也比邟鄉侯高。可見，即便是在袁紹已經成為一顆冉冉升起的政壇新星之時，在當時人眼裏，他的身份還是不如袁術尊貴的。說到底，都是因為袁紹的出身不好。所以說他的童年生活不免有些抑鬱，因而也養成了袁紹孤傲的性格。