嘉永七年（西洋曆1854年）幕府與米人的談判經曆了多個階段：
首先是幕府派小船和米人交涉談判地點定在哪，這花費了整整十三天——和曆嘉永七年正月十六日 (1854年2月13日)到正月二十八日（2月25日）。
接著是橫濱村接待場所的搭建和交涉的人數等細節，從2月26日到3月7日用了整整十天。
從2月13日到3月7日都可以看成是準備時期，之後才是正式交涉階段。
雙方在3月8日正式見麵，結果第一次見麵就談崩了——林大學頭等人表示“因大君交替，請擱置待翌年再議”，結果導致佩裏現場發飆，在發布戰爭威脅後拂袖而去，第一回合的交涉就此中止。
3月12日，林大學頭等人從幕府拿到許可返回橫濱村，於第二天和佩裏開啟了第二輪談判。
當天雙方不但交換了參考文本——米方提供了《望廈約定》，幕府方提供了江川英龍和小栗忠順合著的《西洋諸國約定概要》,而且佩裏還讓人拿出來大量的精美禮物，一時之間氣氛竟有些其樂融融。
翌日幕府方麵也進行了回禮，包括扶桑的字畫、瓷器、漆器、扇子、武士刀及精美的滑膛槍等，另外還送了米二百俵、雞二百隻，由五個力士（相撲手）進行搬運——希望借此顯示扶桑的勇猛。
佩裏等人對此也笑納了，但對力士的肥壯有力卻不以為然——自從蒸汽機普及以來，在西洋諸國機器和機械遠遠勝過人力已經是定論了，人再強壯有何用！
第二回交涉的進度很快，互相救濟漂流民的部分很快達成一致，但雙方在通商上立場相左：
幕府方麵堅持不同意開港通商，理由和當時的中華一樣， “我扶桑地大物博，無需通商交換有無”。
佩裏苦勸，“我協眾國產黃金、白銀、鉛汞、珠璣及天然珍異之產，人工奇巧之物。扶桑亦富物產，相貿易必有大利，試行之或五年，或十年，即不利則罷~市”，但林大學頭一方把頭搖的跟撥愣鼓似的，“我不聽我不聽。”