1904年4月22日，奧本海默生於美國紐約市。他的父親朱利葉斯·奧本海默年輕時從德國移居美國，是一位成功的商人。母親埃拉·弗裏德曼是一位畫家。奧本海默家境富裕，從小就受到了很好的教育。
奧本海默是一位少有的天才，公認的神童。他在5歲時即能夠收集地質標本。他曾在紐約德育學校學習。1922年進入哈佛大學，在3年裏讀完了大學4年的課程，1925年以優異成績畢業。
奧本海默興趣廣泛，但隻有物理學才是他真正的誌向所在。當時美國的物理學尚不發達，因此他畢業後就前往歐洲學習物理學。
在物理學革命的大潮中，奧本海默如魚得水，他憑借敏捷的頭腦迅速領悟到新理論的核心，並站到了理論研究的前沿。1925年奧本海默來到英國劍橋大學，1926年5月發表了第一篇論文。當時距德國物理學家海森堡關於新量子力學的第一篇論文發表還不到一年，奧本海默已充分掌握了海森堡的新方法，用以解決分子帶狀光譜的頻率和強度問題。同年7月，他發表了第二篇論文，討論了氫原子，提出了連續光譜問題，並且討論了如何用公式表示連續光譜波函數歸一化的問題。
奧本海默在科學界嶄露頭角，受到了麥克斯·玻恩的賞識。1926年，他應玻恩之邀來到哥廷根。當時玻恩已經是舉世聞名的大物理學家，哥廷根理論物理研究所的學術帶頭人，而當時的哥廷根是能與哥本哈根相匹敵的最重要的理論物理學術中心之一。奧本海默開始在玻恩的指導下從事研究，二人合作研究出處理分子的電子自由度、振動自由度和轉動自由度的方法，現在此方法已成為量子理論的重要內容，被稱為“玻恩—奧本海默法”。1927年春，他獲得博士學位，此後又在萊頓和蘇黎世從事研究。
1929年，奧本海默接受了在伯克利的加利福尼亞大學和加州理工學院的學術職位，回到美國。他繼續從事了大量的尖端性研究，幾乎涉及到當時物理學中全部的重點科研課題，取得了很多成果。在加利福尼亞期間，他成為美國的一名重要的物理學權威和學術帶頭人。奧本海默其貌不揚，據查姆·伯曼特描述，“他頭部狹窄，個子瘦瘦，耳朵尖尖，長得獐頭鼠目”，但他崇高的聲望、淵博的學識、精湛的造詣吸引了很多弟子；他敏捷的思維、謙虛坦率的作風、鋒芒畢露的個性和對人無微不至的關懷使弟子們緊密地團結在他的周圍。後來，他的許多弟子都成了一流的學者。