顏真卿的同胞二哥顏允南去世時，僅是一位五品階的國子司業，喪事期間，不但有眾多朝廷大臣參加祭奠，還有不少軍中的功勳大將和封疆大吏親自參加喪禮或派使節迢迢千裏入京吊唁，不由引起一個人的關注，此人非一般之輩，而是坐鎮中書省政事堂的當朝右相元載。元載也備了份禮，特派中書政事堂主書卓英倩親赴顏宅吊祭，同時讓他打聽顏允南僅為一個國子監的次官，何以有這麽大的魅力？卓英倩回到政事堂向元載報告說，參加顏允南喪儀的大臣和軍將，多半都是顏允南的兄弟顏真卿的關係。元載聽了不由倒抽一口冷氣，心中陰陰一笑，暗自嘀咕道：“看來這個剛從山南回京的蓬州長史很不簡單呢！”
元載字公輔，祖籍鳳翔岐山，父親姓李，給元載起名李昆。李昆家貧，母親棄夫攜子另嫁江姓，繼父給李昆改名叫江崽子，有人說崽字太賤，遂改為江載。不久，繼父暴亡，母親帶著江載又嫁給岐州一個叫景升的人，江載隨了繼父又改名景載。景升的祖父是元姓人家的家奴，負責為主子收繳租賦，景升為了在百姓麵前狐假虎威，向主子討了一個“元”姓，於是景升改為元升，景載也改為元載。
元載弱冠之後，曾數次進京大比均未及第。天寶初，玄宗崇奉道教，下詔征求懂得老、莊、文、列四子之學的人才。元載腦子一轉，攻習老莊，鑽了個冷門，再考，一舉及第，被授為新平縣尉。元載自幼寄人籬下，跟著繼父元升學了一整套看主子眼色行事的本領。奉行“無權是貓狗，有權是虎狼”的做人原則，對上諂權媚勢，奴顏婢膝，很善於巧用金錢奇珍賄賂權貴，討得主子歡心，以換取更大的利益；對下則頤指氣使，橫眉豎目，欺詐威脅，尖刻狠毒。因此，元載入仕之後一路官運亨通，青雲直上，人稱“狐狸元”。狐狸元被東京留守苗晉卿引為判官，又遷大理司直。安史之亂時避地江左，被江東采訪使兼蘇州刺史李希言表為副職，不久即擢洪州刺史。兩京光複之後，大宦官李輔國權傾天下，被宰相李揆呼為“五父”，精明的元載更降一級，對李輔國直呼“五爺”，每次入京，無論公事私事，都會攜許多江南的奇珍異寶晉見五爺，討取李輔國歡心。上元二年（761）冬，被李輔國調入京師，先任禦史中丞。不久，劉晏被貶為通州刺史，李輔國急忙讓元載接了劉晏的班，出任戶部侍郎兼領度支、鑄錢、鹽鐵以及江南兩淮租庸使和轉運使，一手掌握了國家的財政大權。元載從小跟著繼父元升在岐州一帶為主子收繳租賦，學會了向老百姓敲詐勒索、刮骨吸髓、挖地三尺、殘酷掠奪的手段，出任江淮租庸使之後，如魚得水，如虎添翼。