洛陽位於黃河河畔，洛水之濱，是縱貫南北大運河的中樞。這裏四通八達，經濟繁榮，是幾代帝王的都城，又是唐的東都。武則天執政以後，即常駐這裏，一時成為當時的政治中心。李隆基的少年時光就是在這裏度過的。
李隆基出生時，其父睿宗已做了一年零六個月的皇帝。他的母親竇氏出身於胡姓貴族，自唐初以來，已兩次為外戚，家族貴顯，一品官三人，三品以上官竟有三十多人，子弟娶公主、女兒選為王妃的有十四人。
這樣高貴的家族在唐代是不多見的，故史稱：“唐世貴盛，莫與為比。”母親竇氏長得姿容美麗，性情婉順，言談舉止皆遵循禮儀。睿宗為相王時，與她結為夫妻，是一對恩愛佳偶。時為孺人，睿宗即位稱帝後，她被立為德妃。
李隆基在睿宗諸子中排行第三，他的大哥成器(後改名為憲),二哥成義(後改名為物),四弟隆範(後改名為範),五弟隆業(後改名為業),六弟隆悌。在他們諸兄弟中，竇氏卻隻生他一人，其他都是同父異母兄弟。
李隆基雖為皇子，卻是很不幸的。其父睿宗名為皇帝，卻有職無權，實際上不過是一個傀儡。祖母武則天臨朝稱製，武氏家族成員都居顯官要職，專擅朝政。因此，當他剛一降生人間時，睜眼看到的不是李唐江山，而是武氏的天下，李氏皇室處於風雨飄搖之中。
垂拱三年(687)閏七月，當李隆基剛好三歲的時候，就被封為楚王。他從小天性聰穎，氣質不凡，犖犖有大誌，不同於凡夫俗子。幼年時的李隆基與他的諸兄弟大不相同，他的愛好並不在於美玉金寶，在心目中還有更大的追求。武太後敏銳地洞察出他的宏大誌向，稱讚他是未來的“太平天子”。
天授元年(690),李隆基剛剛六歲的時候，祖母武則天廢唐為周，正式做了大周女皇，父皇睿宗被降格為皇嗣，回到了東宮。