可是自從公元前117年即元封六年，衛子夫的外甥霍去病去世，次年衛子夫的弟弟大將軍衛青去世，這兩個衛氏家族的頂梁柱倒了，而衛氏母子夫去了外戚親人，則顯得有些形孤勢單，缺少依勢了。再加上公元前94年劉弗陵的出生，這些事情都對衛氏家庭產生了極大的震蕩。
而漢武帝晚年，由於在位日久又不甘年老體邁，便想盡一切辦法來延年益壽。於是一個雄武大略的皇帝更加的開始迷信起方士來，他刻意求仙，信奉鬼神。為此，搞得終日裏惶惶不可終日，總是心驚肉跳，神不守舍的。就在公元前92年的這一年，發生了一場巫蠱禍事，竟然讓專寵多年，位居中宮的皇後衛子夫和皇太子劉據以及武帝的兩個親生女兒活活逼死了。
所謂巫蠱是中國古代男巫師用邪術陷害他人的一種迷信活動。據說隻要根據仇人的模樣刻成一個小木人，用針錐刺心釘眼，埋在地下，或者到祠堂、神廟去去祭祀，向鬼神祈禱，祈請將災禍降到仇人身上，就可以達到謀害他人的目的。
就在這一年的冬季，即是衛子夫生下太子從而被封為皇後的第三十六個年頭。一天，武帝閑來無事，正在上林苑建章宮內閉目養神。恍惚之間，武帝就好像看到有一個男子正手持長劍，快步竄放宮裏，滿臉凶氣的直朝自己禦榻而來，便一下子驚叫起來：“誰？你是誰？敢來刺朕！”可是驚呼之後，忽然又不見了那個人影，他這麽一喊，驚動了宮裏的武士，這些武士真心來到武帝的跟前隻見武帝正一頭冷汗，氣喘籲籲的坐在榻上用手指著前方，嘴裏也不知道在說著什麽。武帝叫道：“賊！有賊人要刺朕！”武帝這麽一叫，把眾武士嚇得魂飛天外，如果這個時候有賊人進來行刺皇上，他們沒有看到，幸好這是沒出事兒，如果出了事兒，不但這夥人全部會被殺，還會牽連他們