李林甫，出身宗室，其曾祖父叔良，是唐高祖李淵的從父弟，封長平王。可是，到了祖父孝斌，未能襲封王爵，官至原州長史；其父思誨，更是官僅揚府參軍。所以李林甫一家在宗室中地位並不顯赫。
唐玄宗上台之初，李林甫年齡尚輕，既無資曆，亦未立過殊功。但是，畢竟憑著宗室關係，他很快從千牛直長，遷為太子中允。
後來，又得舅舅的幫助和提拔，官運更是亨通。他的舅舅就是當時朝廷中權勢極大的楚國公薑皎，薑皎對這個外甥十分喜愛，在官僚麵前往往為之延譽。
特別是源乾曜為侍中時，薑皎的妹妹嫁與源乾曜的侄孫源光乘，二大官僚家庭結成了姻親，李林甫也因此攀上了這層血緣關係，得到了宰相源乾曜的支持。
有一天，源乾曜的兒子源潔對父說：“李林甫求為司門郎中。”源乾曜考慮再三，回答說：“郎官須有素行才望高者，哥奴豈是郎官耶?”哥奴，乃李林甫小名。可見，這時年輕的李林甫在德才、聲望方麵都還低微，要任職位較高的郎官，在朝廷中還很難通過。但他畢竟是薑皎的外甥，源家的親戚，所以過了數日，在源乾耀的推薦下，李林甫還是被任為太子諭德。以後，又累遷至國子司業。
開元十四年(726),李林甫又通過有權勢的宇文融的關係，升任為禦史中丞，曆刑、吏二部侍郎。
這時，在宮廷內部，武惠妃深得玄宗寵愛，想立自己的兒子為太子，因而與太子瑛間的矛盾日趨尖銳。李林甫為了解玄宗的動靜和意圖，結交宮中宦官，所謂“多與中貴人善”。
當他探知武惠妃的意圖，即通過宦官向武惠妃諂媚投靠，提出“願保護壽王”(支持立惠妃兒子壽王瑁為太子),以換取這位妃子對他的支持。
而武惠妃要想達到廢太子瑛立自己的兒子為太子的目的，需要取得外廷官僚的支持，因此對李林甫的投靠十分高興，便在玄宗麵前為他說好話。