北魏泰常元年（416年）正月，後秦國主姚興病重去世[26]，此時她的女兒姚氏進入魏宮僅僅三個月。
在《姚氏傳》中述及姚氏鑄金人失敗之事，但未載明姚氏鑄金人的具體時間。《資治通鑒》將姚氏鑄金人事係於卷117《晉紀》安帝義熙十一年十月壬子條下，但這個日子隻是後秦送姚氏入北魏的時間。司馬光將姚氏鑄金人事係於該條下，屬於史家交代後事的筆法。那麽，姚氏鑄金人事究竟發生在後秦國主姚興去世之前還是之後呢？史無明載。不過，鑄金人不成功的事實向我們透露，姚氏雖然受到明元帝的“寵遇”，但是在魏宮中的處境並非一帆風順。
姚興去世之後，東晉太尉劉裕乘機出兵討伐後秦；與此同時，後秦王室卻為爭奪王位而骨肉相殘。於是，東晉大軍水陸並進，於晉義熙十三年即北魏泰常二年（417年）八月攻滅後秦[27]。由於後秦滅亡，進入魏宮不到兩年的姚氏失去了外援。
在這種情況下，同處魏宮的姚氏與杜氏的關係就十分微妙了。最初，北魏對姚氏是“以後禮納之”的，她與杜氏在身份上有較大的差距；後來，姚氏“鑄金人不成”，隻能屈就“以為夫人”，她與杜氏在身份上的差距就不大了。最初，姚氏貴為後秦公主，她與杜氏在家世上的差距很大；後來，後秦滅亡，姚氏與杜氏在家世上的差距也縮小了。而且，姚氏未曾為明元帝生育，至少是未曾生子，在這方麵她反而不及杜氏。那麽，泰常二年以後明元帝究竟是如何對待姚氏與杜氏的呢？由於宮幃事密，很難知曉詳情。但有一點是肯定的，那就是明元帝並未因“寵遇”姚氏，而忍心以子貴母死之規殺害杜氏。姚氏與杜氏在魏宮又共處了三年，兩人均於泰常五年去世。
姚氏與杜氏竟然死於同一個年頭，這是值得思索的問題。倘若注意到北魏朝廷的動向，就會感到兩人同在泰常五年去世並非純屬巧合。《太宗紀》泰常七年（422年）條記載：