義律命令英軍退出珠江，將領們意見很大，當初退出定海他們就有意見。他們認為，已經在定海站住了腳跟，為什麽要退出來？眼下在廣州軍事上已經占據了絕對優勢，為什麽又退出來？
義律告訴將領們，在廣州折騰很難達到目的，等貿易季一結束，他就率海陸軍北上，重新占據定海，甚至再次把軍艦泊到白河口。但人算不如天算，這時候英軍中爆發了大規模的瘧疾，就像去年在定海一樣，有一千多士兵病倒了，十八名將軍，重病十六人，海軍司令辛好士病死，能勉強指揮戰鬥的隻有一位。到了7月中旬，瘧疾總算過去了，又連續來了兩場台風，席卷整個香港一帶海麵，戰船六艘沉沒，五艘被摧毀，二十餘艘受到損傷。義律和剛從印度帶著援軍返回的伯麥，乘坐的“路易莎”號沉沒，兩人帶著二十餘人泅水爬到一個小島上，被土著抓到，交出了三千四百銀元，土著才把他們送到了澳門。
到澳門沒幾天，又有三艘英艦到達澳門。義律以為又是從印度趕來的援軍，很高興地在住處會見新到的人。來見他的是三個人，一位是爵士、陸軍少將璞鼎查，一位是東印度海軍總司令、少將巴爾克。負責介紹的叫麻恭，他自稱是新任全權大臣璞鼎查爵士的秘書。
聽到新任全權大臣的說法，義律一臉愕然。麻恭向他解釋說：“璞鼎查爵士已經被英國女王任命為全權大臣，取代您的職務；巴爾克少將已經被任命為遠征軍總司令兼海軍司令，取代伯麥將軍。”
隨後，他把任命書交給義律查驗。
璞鼎查把外交大臣巴麥尊的一封親筆信交給義律。那封信特別厚，義律看了第一頁——
親愛的先生：
我收到你的最後的公函，是本年一月五日、十三日和二十一日的第一、第四和第五號函，第二和第三號函卻還沒有收到。關於你的職務的變化，已經有了文件，想必你也都看到了。我還是乘便給你一封私函，說明我的真實態度。很抱歉的是，我必須向你表示，我對你交涉的結果，極其失望，對你進行交涉的方法，也不讚同。