就在一家人準備開展新生活時，胡蝶的事業遭遇了重創：被戴笠拘禁的三年，電影行業大變樣，圈內湧現出一批年輕有為的女影星，上海的電影界已經沒有她的立足之地；而她之前與戴笠的關係，使她無法麵對那些專以曝光別人隱私為業的娛樂報刊記者。
好友阮玲玉臨死前的一句“人言可畏”尚且言猶在耳，最終，他們決定到香港謀求發展。
香港六年，胡蝶息影了。不管是不是她的誌向，她做了一個普通男人的妻子，守護著一家人安安穩穩地過日子。六年後，潘有聲病逝。他的離去，令胡蝶感到悲痛，半生的寄托仿佛陪著他去了。
好友們不忍胡蝶如此消沉，紛紛鼓勵她再戰熒屏。胡蝶一生所愛，唯有這份感情與她的電影事業。在好友的幫扶下，她立即加入邵氏公司，演了助她事業更上一層樓的《後門》等多部優秀電影。
1975年，胡蝶改名潘寶娟，漂洋過海移居溫哥華。人的一生，老年這個狀態確有許多無端的況味，或許是知道自己即將結束人世的行程，每個人都免不了會追思過往，回憶以往的時光。對胡蝶來說，寶娟本是父母給的乳名，而姓潘則是為了紀念死去的丈夫。
人說，結婚的雙方互相默許了心願，作為女方，此生與摯愛共用一姓。胡蝶是有心而為之。
遠離故土，自此飄零他鄉，心中不可能不懷念，她在回憶錄中寫道：“溫哥華的地形就像攤開的右手，手的方向伸向亞洲的中國。而我就住在這座城市的臨海大廈，因此，不管是晴朗的白天，還是群星燦爛、燈火閃爍的夜晚，每當我站在窗前眺望遠方，我的心也像這塊土地的地形一樣，緊緊地握著祖國母親那溫暖的手掌。”
但盡管如此，祖國，她卻再也沒有回去。或許，在她內心深處，盡管鬥轉星移，卻仍然忘不了與戴笠的一段過往。對很多人來說，在某個地方受過傷，此生就再不願置身那個地方。隻是不同的是，有些是因為刻骨銘心的深愛過，有些卻是無法忘卻的受傷過。