林則徐明白繳煙並不是一勞永逸的辦法，於是他要求外國商人們作出承諾，表示以後不會再來中國販賣鴉片。林則徐始終都相信這些外國商人還是很重信用的，隻要他們作出保證，林則徐就感到安心多了。有些煙商已經打算答應了，但是義律卻從中作梗，他從來就沒有誠意停止鴉片生意，義律害怕如果讓林則徐得逞，那麽以後的走私貨都沒人買，這個責任他實在負不起。義律的插手使得雙方的談判再次破裂，中英關係也陷入了低穀。
林則徐一直讚成黃爵滋“死刑禁煙”的嚴厲主張，一再強調“貨即沒官，人即正法”，讓義律感到很惱火。義律處心積慮，就想要獲得在中國的治外法權。他認為要中國人戒掉鴉片是完全不可能的事。隻要中國人的鴉片癮不斷，鴉片走私行為就一定不會斷絕。若是英國商人不賣鴉片，別國商人也一樣會賣，他不想眼睜睜地看著大把大把的銀子都被別人賺走。而林則徐則認為如果國人都能嚴於律己，決心戒煙，那麽外國商人們自然就不會揪住中國不放了。
義律攪亂了林則徐和外國商人的談判後，又開始在海上私賣鴉片，他以極低的價格引誘海上的漁民們購買，更過分的是，他禁止做正當生意的英國商船進入，結果32艘商船滯留在九龍尖沙咀一帶，船主們紛紛叫苦連天。林則徐知道後勃然大怒，立刻下令出動水師，全麵掃**海麵上的鴉片走私。
林則徐和義律的衝突遠不止於此，在不久之後爆發的“林維喜案件”中，二人再次針鋒相對。這起案件的起因是一群去尖沙咀買酒的英國水手和當地人產生了衝突，打傷了村民林維喜，結果林維喜在第二天就不治身亡了。林則徐知道後，強烈要求義律交出凶手。義律一口拒絕了林則徐的要求，他早就有意行使治外法權，覺得這件事就是一個時機，於是他私自審訊犯人，出款撫恤受害者的家人。