胡蝶三十年代初就在上海走紅了。戴笠那時剛到上海灘混飯吃，盡管有時吃飯都成問題，但隻要有胡蝶演的電影他是每場必看。當了複興社特務處長後，戴笠仍舊對胡蝶演的電影喜愛有加。當時，南京的白天鵝電影院裏，經常有戴笠的身影。他曾多次對人說，胡蝶的一舉一動和一顰一笑都恰到好處，什麽角色讓她一演就活了，可真是中國特有的藝術之花。雖然戴笠對胡蝶極為迷戀，但由於當時身份和地位的距離太大，就是與胡蝶見一麵的可能性都不存在。說到頭，此時的戴笠隻能是個“胡蝶迷”。過後，隨著抗戰的全麵爆發，特別是日本人進駐上海後，戴笠也就沒有了在銀幕上欣賞胡蝶的機會。
但戴笠萬萬沒有想到，隨著香港被日本人占領，命運之神竟然悄悄地把胡蝶送到了他的身邊。
原來，上海失陷後，胡蝶就與丈夫潘有聲帶著女兒去了香港。潘有聲是從事搪瓷製造業的商人，為了能在香港發展生意，他用胡蝶的頭像作為搪瓷產品的商標，深受香港人的喜愛。
見丈夫的生意做得火紅，耐不住寂寞的胡蝶在香港電影界也活躍開了。可沒想到，香港不久也淪陷了，而且日本人知道胡蝶在香港後多次登門，要胡蝶為日本人拍電影。胡蝶與當時在香港的梅蘭芳先生一樣，毅然拒絕了與日本人的合作，並做好了秘密潛逃回廣東的準備。
行前，胡蝶將所置的衣物、首飾、相冊，國內外所獲獎品，包括因主演《自由之花》而在意大利米蘭國際電影節上所獲獎品，以及用胡蝶頭像作為商標的搪瓷品共39件行李箱。托楊惠敏托運回國。楊惠敏是淞滬抗戰時冒著彈雨向四行倉庫八百壯士獻旗的女學生，後國民政府賑濟委員會派她到香港做接運抗日愛國人士到大後方工作，與胡蝶夫婦交往很深。