1951年秋季，美國國務卿迪安·艾奇遜(DeanAcheson)建議科南特離開哈佛去德國做一年美國駐德國高級專員，主要探討德國重整軍備問題，這一工作預計在1952夏季結束。但由於個人問題，科南特沒有接受這一邀請。之後他對這一決定又有些後悔。在接下來的一個月，他和妻子很想知道在1925年在德國的經曆與現在的經曆之間會存在什麽樣的聯係，於是他們夫妻決定，如果再有這樣的機會，將不再錯過。之後幾個月，原來駐德國高級專員卸任了，但以前駐奧地利專員唐納利(Donnelly)接任了德國高級專員一職，看起來科南特是沒機會了。
但不久之後，艾森豪威爾成為新總統，唐納利退休，新總統和國務卿表示會找人接替唐納利，但並沒有表示要將科南特作為考慮的人選。盡管如此，科南特仍然抱著成為德國大使的一線希望。幾個禮拜後，科南特被邀請與新總統共進午餐。席間，艾森豪威爾建議國務卿考慮科南特前往德國的事情。這個機會終於讓科南特等到了，這次他沒有錯過。在1953年的一次學校會議上，科南特告訴校外委員會，在兩周之前，校內委員會已經批準了科南特從1953年9月1日開始退休，在退休前的這段時間內，他可以離開學校，學校由一個委員會來負責管理。①
1953年科南特正式接受了美國對德國高級專員(United States High Commissioner for Germany)的職位。但他此時還不知道這一職務的任務以及他所麵臨一係列問題。他要麵對充滿敵意的德國人，要對付新政府，要運用外交手腕，作為高級專員還要負責一項龐大的建設計劃，建立一套法院係統，並解決德國工業日益萎縮的困難，並且在德國可能麵臨人身安全以及政治迫害，此外還有許多隨之而來的個人問題。