但是，天有不測風雲，人有旦夕禍福。貞觀九年（635年），唐高祖李淵因病去世，武士彠本來就有哮喘病，得知李淵死了，喘得更厲害了，某天，一口氣沒上來，也追隨李淵而去了……享年五十九歲。
武士彠死後，李世民追封他為禮部尚書，賜諡號為“定”，命人將他的遺體從荊州運回並州文水老家安葬，並委派並州都督府長史李勣親自護葬。（以後會講到，這個人在武則天的生命中將產生極其重要的影響，不過此時的他隻是例行公事而已。他一定沒有想到，在曆史走動了若幹年後，他會重新給這個小女孩以支持。）
武士彠這一生可以說沒什麽遺憾了，死得其所，極盡榮耀；可楊氏母女就慘了，抱著悲苦的心境，慢慢去適應沒有依靠的生活。此時的她年僅十一歲，回到並州後，武則天原來所熟悉的那個簡單的核心家庭一下子變成了鉤心鬥角的聯合家庭。武則天幼小的心靈，開始認識社會。
武士彠與前妻生的兩個兒子武元慶和武元爽，對繼母楊氏和她的三個女兒（大女兒後來嫁給了賀蘭越石，二女兒就是武則天，小女兒後來夭折了）非常不客氣。因為三個小姑娘還都沒出嫁，按照唐朝的習慣，出嫁還要分割財產。他們不願讓即將談婚論嫁的武則天姐妹從這個家中帶走點什麽，就使勁地排擠她們。
雖說武氏是一個大家族，應該還有管事的長輩。不過，族人在處理這種家庭矛盾的時候，通常向男不向女。男孩是一家人，還要在大家庭裏共同生活，抬頭不見低頭見，而女孩子遲早要嫁出去的。武氏族人對楊夫人母女也非常刻薄，特別是兩個堂哥——武惟良和叫武懷運，對這娘兒幾個態度極其惡劣。
武氏兄弟的意圖很明顯：你們娘幾個從哪兒來的就回哪兒去吧，武家沒有你們的一畝三分地。楊氏本想後半輩子在文水修佛誦經，了卻餘生，把武則天姐妹三人培養成人，沒想到武家的屋簷下根本容不下她們。