安祿山對其胡人身份的重視，除了個人身世的因素外，更與胡人家族的勢力密不可分。胡人對安祿山早年政治生涯的影響體現在兩個層麵，即安氏家族勢力的助力，以及玄宗朝後期蕃將群體崛起的政治趨勢。對於這一曆史現象，以往將其解釋為李林甫為固相位，“誌欲杜出將入相之源”,以“蕃人善戰有勇，寒族即無黨援”為借口，自此邊將“不識文字，無入相由，然而祿山竟為亂階，由專得大將之任故也”。①盡管這一解釋過於強調李林甫的個人因素，卻表明玄宗朝後期蕃將的崛起是普遍趨勢。
安道買與安波注家族在唐朝北方邊鎮扮演著重要角色，而他們的崛起都可以追溯至武周中後期。萬歲通天年間，宋禎任平狄軍大使兼朔州刺史，安道買與張仁楚同任副使。②當年正月“突厥默啜寇勝州，平狄軍副使安道買敗之”③,其後五月在唐軍征討契丹的軍事行動中，“總管沙叱忠義、王伯禮、安道買等，兵臨易水，使接桑河”④。安波注的父親史失其名，致仕官為左玉鈐衛郎將⑤,這是武周時期特有的官職，位列正五品上，其人往往充任邊州長史、軍鎮子總管一類的副職。⑥與安道買類似，安波注之父安某應在武周時期的邊軍中任中級武職。
直至安史之亂爆發前，兩個安氏家族似乎都相對堅定地站在唐朝立場上，並世代充任軍職。安道買次子安貞節於開元初年擔任嵐州別駕，嵐州城北一百裏有岢嵐軍，在武周時期隸屬平狄軍(大武軍),景雲年間張仁願移鎮朔方後，該柵隻保留一千人，以守捉的形式隸屬於大武軍。①嵐州別駕很可能同時兼任岢嵐軍使或副使之職，這恐怕與其父安道買在平狄軍內的影響不無關係。安道買家族在此後的史料中不見記載，然尚可覓得若幹間接信息。《大唐故公士安君墓誌銘並序》的誌主安令節與道買兩子之名意義相從且末字相同，令節幼子安武臣後來追隨安祿山叛亂，祿山死後他站在安慶緒一方，並曾於至德二載(757)七月率軍攻陷陝郡。②由於安令節之父名生，官上柱國，與安道買非同一人，那麽如果令節與貞節兄弟間存在某種親屬關係的話，則可能是從父兄或更遠的同宗兄弟關係。③不過安道買家族似乎在天寶朝已經沒落，因為當叛亂爆發後，“思順及弟太仆卿元貞皆坐死，家屬徙嶺外”④,而安武臣同樣隨祿山反叛，卻並未見唐廷提及對安令節或安貞節一家的處置。