約瑟夫二世是瑪麗亞·特蕾西亞的長子，全名約瑟夫·本尼狄克圖斯·奧古斯圖斯·約翰尼斯·安東尼烏斯·米查埃爾·阿達姆斯（Josef Benedktus Augustus Johannes Antonius Michael Adams）。因為他出生的時候正是哈布斯堡家族沒有男嗣而引起歐洲列強進行奧地利王位繼承的戰爭打響不久，所以他的誕生成為神聖羅馬帝國的大事。1741年3月13日，在他降生的當天晚上，奧地利宮廷就舉行了隆重的洗禮，由羅馬教皇派出的紅衣大主教主持，各地諸侯紛紛前來賀喜。可以說，約瑟夫生逢其時，前途良好。
在青少年時期，約瑟夫接受了全麵、嚴格且保守的帝王教育。通過宮廷教師，他學習古典文學、曆史、神學以及必要的涉及政治、軍事和經濟的治國之術。後來，在世界觀形成的年齡，伴隨著啟蒙運動的傳播，特別伴隨著七年戰爭的進行，約瑟夫深受德國北方啟蒙思想的影響，尤其讚同普魯士國王弗裏德裏希二世所堅持的所謂國家利益至上的原則，逐漸地養成了濃厚的開明統治興趣。1764年，作為七年戰爭的結果之一，如前已述，約瑟夫被選為“羅馬國王”，也就是德意誌國王。第二年，即在1765年8月18日他的婚禮之後，父皇弗蘭茨一世中風去世，他繼承了皇位，稱約瑟夫二世。從此開始，身為神聖羅馬帝國的皇帝，在位的前15年，他以佐政者的地位，與其母後瑪麗亞·特蕾西亞共同統治哈布斯堡帝國。1780年女皇去世以後，他開始獨立執政，直至49歲時罹患肺結核，不治離世。
與母後瑪麗亞·特蕾西亞相比較而言，約瑟夫二世獨立執政後較少進行戰爭，外交事務也不太繁雜。
在戰爭方麵，在與女皇共同執政期間，約瑟夫二世與瑪麗亞·特蕾西亞的觀點不同，他參與了雙方沒有擺開戰場的巴伐利亞繼承戰爭。如前已述，巴伐利亞繼承戰爭可以說是約瑟夫二世親自且實際挑起的，因為他首先提議換購並進行換購：用前奧地利交換上普法爾茨和下巴伐利亞，其間的差額用金錢補充。麵對來自皇帝的提議，巴伐利亞選帝侯國的繼承人卡爾·提奧多爾沒有選擇，隻能同意，隻能眼看著奧地利的軍隊開進了上普法爾茨和下巴伐利亞。但是，以普魯士為首的德意誌邦國卻不能同意，他們選擇了戰爭，試圖用戰爭阻止皇帝的交換行為，或用武力奪得巴伐利亞的部分土地，以防奧地利更加強大。最終，在瑪麗亞·特蕾西亞和普魯士親王海因裏希（Heinrich von Preuen，1726—1802）的斡旋下，約瑟夫二世和弗裏德裏希二世握手言和。