每當爬上如同 “海上之城池”的黑船，香山都覺得自己又渺小了不少。和曆六月八日，這次他又沒見到提督佩裏，交涉中香山稱，“公方樣有恙。事體極大，非可輒變。宜以明年來長崎待報。”
米人請示佩裏提督後確認，“可。國書請直達大君殿下。”——其實扶桑皇室才稱大君，佩裏在這裏把稱呼搞錯了，米人的大君指的是幕府將軍。
但佩裏堅決不同意在船上遞交國書，也不同意在浦賀遞交——浦賀附近炮台林立，他怕遭到扶桑人的伏擊，他讓副官和香山商討，最終選擇了橫須賀.
小漁村久裏濱因為幕府要建第三座煉鐵廠已經改名為橫須賀，但因為精通煉鐵的專業人才不夠，此地隻是平整了土地、修建了簡易碼頭，別的啥都還沒建起了。
佩裏的助手選擇橫須賀是因為這裏雖然屬於江戶灣內海，但位置非常靠近浦賀水道，算是敏感而又不那麽敏感的地點，而且這裏離浦賀較近，方便了扶桑人；同時水文條件較好，地勢又相對開闊有助於米人避開伏擊。
香山左衛門聽了米人同意“明年來長崎待報”就非常開心，這是往後推了一年啊，明天的風明天再吹，佛祖保佑，總算暫時躲過了這一劫難——至於翌年怎麽辦？到時再說唄，我又不是真的浦賀奉行，哪裏管得了那麽多。
香山帶著通譯喜氣樣樣地回到岸上，一字不改地匯報了米人的答複，結果，一聽到提督佩裏居然答應了“明年來長崎待報”，其中幾位海防掛又後悔了，覺得米人色厲內荏，再拖延幾天，沒準糧草飲食不濟米人自己就走了。
聽了這些嘟囔，大目付筒井政憲、勘定奉行川路聖謨、勘定吟味役江川英龍氣了個倒仰——這三人是當時挑頭拍板的，此時未免有些同病相憐、惺惺相惜。
其實這三位意見並不一致：