建安十六年，劉備率大軍西進益州，孫權聞知，便派遣舟船來接孫夫人回娘家，並叮囑將劉備的兒子阿鬥也帶回東吳。後來趙雲、張飛“勒兵截江，乃得禪還”。從此，孫夫人和劉備的姻緣一刀兩斷。
至於她為什麽要抱著阿鬥回去。有人說，是為了給東吳帶回去一個人質，有人說，是與孩子有了感情，舍不得分離，又想著回娘家看看就回來，所以便帶了去。至於真實情況，已然不得而知。隻知這一別，她與劉備便是陰陽兩隔。
重返東吳的孫夫人當時才二十出頭的年紀，而在那個沒有處女情結，甚至可以說人妻很搶手的時代，無論是正史還是野史，都沒有關於孫夫人再嫁的隻言片語。也就是說，很有可能，從這時起青春年少的孫夫人就開始過了上“守活寡”的生活。也許在此後漫長的歲月中，孫夫人要承受的不單單是孤獨與寂寞，還有來自方方麵麵的壓力——在東吳人眼裏，她始終帶著敵人劉備的印記，而在蜀漢看來，她是裏通東吳、背棄丈夫、劫持幼主的不良婦人。所以劉備稱帝後，並沒有給她任何封號，阿鬥即位後，也沒有對她進行追封，蜀漢的史官僅稱她為“夫人”，並未給她單獨立傳。這個因為兄長和丈夫的博弈而被犧牲的女人，最後反而被兄長和丈夫所不容。
或許是出於對這位苦情女子的同情，民間並不覺得她應該被張飛罵死，因為這一切似乎並不是她的錯。所以一直流傳著她在劉備亡故後投江而死的故事。人們還為她建造了不少祠廟，或稱梟姬娘娘，或稱靈澤夫人。也許，孫夫人的在天之靈多少會得到些慰藉吧。