1953年離開哈佛後，科南特作為駐德國波恩高級外交官，要處理美國和蘇聯、英國、法國三個大國之間的關係。他工作的目的是加強西德與西方世界的溝通與聯係。在西德，科南特的日常工作是與支持美國的官員建立密切關係，鼓勵議會督促巴黎與波恩的和約生效，並承諾美國負責西歐國家的統一和軍備。雖然，科南特及其他美國官員沒有
忘記第二次世界大戰中德國的暴虐，但是，政治的需要使他們仍然優先考慮聯合德國加入反蘇“冷戰”同盟，並幫助德國建立自己的軍事力量。1955～1956年，科南特被艾森豪威爾再次任命為駐德國西柏林大使，負責西德的軍備和北大西洋公約軍事力量的加強。外交生涯已經把科南特推到了“冷戰”陣地的最前沿。
1953～1955年，科南特在波恩作為高級專員的工作使他有時間能夠接觸到一些德國學校中的人。一些熟悉並喜愛美國的聽眾請科南特解釋美國公立中學的本質以及美國教育家的教育目標。科南特在德國教育家中進行了多次演講。並且，在一些人士的幫助下，科南特將《在一個分裂的世界中的教育》一書部分翻譯成德文出版。
盡管此時科南特已發表了幾本關於美國中學的著作，但他內心中還有著些許的疑慮。他認為自己對於美國教育的研究存在先天不足，因為他獲得的美國學校的情況都是二手資料。他對澳大利亞教育情況的一手資料的掌握甚至都要多於美國。他越多的講述美國的中學教育，越感覺自己缺乏對美國中學一手信息的掌握。於是，訪問美國中學的想法漸漸地開始在科南特的腦中浮現。這時，科南特已經被任命為美國駐德國的大使，他開始考慮當大使工作結束時，他或許可以對美國中學做一些訪問，即使沒有其他的收獲，至少可以知道自己向德國人講述的那些美國學校的情況在多大程度上是準確的。