戴笠利用其地位、權勢、金錢搞過不少女人，從來都把這種事當作小菜一碟。而對胡蝶就不一樣了。他青年時期就喜歡看電影，對電影明星十分欣賞；看得最多的是胡蝶的電影，對這位名聲卓著的影後更是崇仰有加。後來身躡高位，周圍美女如雲，閱人頗多，卻不敢奢望與胡蝶有什麽來往，更別說肌膚之親了。山不轉水轉，後來獲得了一個良機與胡蝶見麵，他竟然也難以克服自慚形穢的心理。
這個“良機”出現得實在是蹊蹺，是否可以劃入“偶然”抑或“宿命”的範疇，不得而知，也許兩者兼而有之吧。
太平洋戰爭爆發後，由於日本與歐美各國處於實際上或理論上的戰爭狀態，日本順勢接管了上海的租界。文藝界那些或者因了政治任務或者什麽任務也沒有隻是不願到大後方過清苦生活的人隻好結束了幾年來的“孤島”[1]生涯，紛紛逃亡大後方或香港。胡蝶夫婦屬於後一種情況。
胡蝶丈夫潘有聲是上海德興洋行茶葉買辦。人長得漂亮，是不消說的了；關鍵在於這是一位唯妻之命是從的模範丈夫。也許當年就是這點超人的逆來順受，才從眾多超級追求者中奪得了繡球。
他們在香港定居下來。潘有聲繼續做他的茶葉生意；胡蝶繼續活躍於影壇，拍了《孔雀東南飛》《西廂記》之類不痛不癢的影片。
不料好景不長，日軍攻打香港，英軍在港督率領下投降。
胡蝶最初打算仍然滯留香港偷安。畢竟那裏的物質生活雖稍差於上海，卻比大後方優裕百倍；不料日本人找上門來，邀請她赴日訪問，拍一部《胡蝶遊東京》的電影，宣揚中日親善。她這才意識到繼續留港的危險性。與丈夫商量，決定偷偷離港，繞道回大後方。
這個時期，延安與重慶都派了得力幹員潛赴香港，接運文藝界人士撤離。重慶方麵派遣的人員有楊惠敏。楊惠敏其人就是幾年前淞滬抗戰時向堅守四行倉庫的八百壯士獻送國旗而一舉成名天下知的女學生。胡蝶問楊惠敏可不可以幫忙將三十箱私人財物運送到重慶。後者滿口答應，教她盡管放心，一定不負所托。