武則天對兒時的事情仍舊無法忘懷,她采取了一係列打擊武氏宗室的政策,而這些做法也來自於母親楊氏的提議。可是關鍵時候,武則天的母親楊氏卻突然去世了,這對武則天來說,是一個不小的打擊。武則天的成就大多來自於母親楊氏的培養。從小的物質環境是武士彠給予的,而精神世界的富足則是楊氏給予的。楊氏帶給武則天的影響不僅僅是書本上的,還有人格上的獨立和智慧的頭腦。
武則天為母親楊氏舉行了隆重的葬禮,以表達自己對母親的哀思。楊氏的葬禮舉行完畢後,武則天覺得時機已到,於是她決定斬草除根。武則天要除的正是楊氏寵愛的外孫,自己的外甥,賀蘭敏之。賀蘭敏之是武則天姐姐武順的兒子,賀蘭氏的親哥哥。武則天毒死賀蘭氏的時候,賀蘭敏之是在一旁的。高宗皇帝曾伏在賀蘭氏身上哭泣,他問一旁的賀蘭敏之,“剛才人還好好的,怎麽突然就死了呢”。“向吾出視朝猶無恙,退朝已不救,何倉卒如此!”——《資治通鑒》。賀蘭敏之此時卻不說話,不表態,隻是默默哭泣。據《資治通鑒》記載:“敏之號哭不對。後聞之,曰:‘此兒疑我!' ”
武則天非常明白,賀蘭敏之已經對她起了疑心,他的不表態就是一種表態。所有人都認為是武家兄弟害死了賀蘭氏,隻有賀蘭敏之不這麽認為。他的“不認為”讓武則天非常不滿和警惕。因為母親楊氏寵愛賀蘭敏之,與賀蘭敏之有著難以啟齒的**關係,武則天不便對賀蘭敏之怎麽樣,然而賀蘭敏之卻公開與武則天作對。
賀蘭敏之仗著楊氏對自己的寵愛,決定報複武則天。武則天曾將司衛上卿楊思儉之女許配給太子李弘。楊思儉之女端莊清麗,很討武則天的喜歡,本想留著當太子妃,沒想到在大婚之前遭到了賀蘭敏之的奸汙。這件事情震驚了朝廷,讓武則天怒發衝冠。可是武則天隻能啞巴吃黃連,賀蘭敏之有自己的母親寵愛,她無法將賀蘭敏之處死。此時的楊氏已經無法離開賀蘭敏之的陪伴,武則天隻好給李弘重新選定太子妃。麵對武則天的妥協,賀蘭敏之並沒有就此罷休,反而變本加厲。