當然，阮元的成功也意味著蔡牽逐漸陷入了困境。
“蔡牽啊，看起來，這離間阮家妻妾之計，是已經失敗了。”這時，幾十艘海盜船正停在福建海中的幾個島嶼之處，這裏沒有官軍，自然也就成了蔡牽臨時安營紮寨的地方。呂姥這日也接到了岸上線報，周媽在杭州不僅失手，還被關進了牢獄定了罪，便將這件事告訴了蔡牽。
“是啊，哼哼，我卻是沒想到，這阮家妻妾，居然關係能這般親密。看起來，咱們平時自詡識人無數，卻還是小看了這阮元了。”蔡牽也不禁苦笑道。
“老板，眼下最緊要的，已不是什麽離間計了。海上這弟兄們明年還有何錢糧能夠接濟，還能不能補充足夠的火藥，這都成問題了。”蔡粼也頗為擔憂地說道：“這一年浙江嚴查海防，整個漁市都是官軍嚴加看管，咱們根本插不了手，海上生意，還是隻能在福建和廣東做。要是和去年一樣也就算了，今年那阮光纘完了，以前海上跟他混日子的那夥人，一大半投到了咱們這裏，人多了，需要的錢糧火藥就更多了啊？”這時阮光纘已經被阮福映擊殺，之前效力於他的安南水軍也自作鳥獸散，一部分並入廣東海盜，另一部分則因蔡牽也曾與倫貴利共事之故，前來投入蔡牽一幫。
“今年不說別的，洋人的船來得都少了許多。”呂姥也抱怨道：“我聽說，洋人裏有個國家叫法蘭西的，成天和其他洋人打仗，這仗打得，洋人現在都不敢來這邊做買賣了，說是南洋也有法蘭西的船，隨時能阻截他們。這國內生意做不得，洋生意也做不得，來年若不能尋個大宗買賣出來，隻怕時日久了，人心生變啊。”在此之前三年，即阮元南下成為浙江巡撫的那一年，拿破侖在法國獲得軍政大權，隨即與歐洲其他國家作戰，屢戰屢勝，也在這一年春天定下了《亞眠和約》，第二次反法同盟便告結束。但各國往來廣州的商船也因戰事之故，一時減少了很多，雖有和約仍不能複原。而且半年之後，和約便被撕毀，第三次反法同盟成立，歐洲對中國的通商情況一直難有起色。