原來自溫裕被捕之後，天子司馬炎心頭一鬆，病勢頓時有了起色。暗自慶幸於齊獻王司馬攸的靈魂並未作祟，司馬炎對滿朝王公賜下布帛，以示慶祝。卻不料就在同一天，宮城內的含章殿、修成堂、暉章殿南閣和景坊東屋同時發生火災，等到火勢終於被撲滅，這幾處精美的建築已經焚毀殆盡，司馬炎也因為驚嚇病勢再度惡化。加上前兩年太廟和宣帝廟分別發生地陷梁折的險情，眾臣之中便傳言齊獻王司馬攸死後怨氣不散，一而再再而三地顯靈，若不采取措施平息司馬攸鬼魂的怨恨，隻怕以後還會有更大的災禍。
自漢代以來，朝廷一直講究“天人感應”，所以就算這些變故與司馬攸的鬼魂無關，也必定是上天對司馬炎施政措施的警示。眾臣不好明說司馬攸一事戳司馬炎的心窩，就拿公認的罪魁禍首外戚楊家開刀，紛紛上書說“楊氏三公，並在大位，故天變屢見，竊為陛下憂之”，逼司馬炎裁撤賦予楊家的大權。
楊駿楊珧楊濟三兄弟知道楊家發跡太快不得人心，加上司馬炎對眾臣上書不置可否的態度，頓時都心慌意亂起來。楊駿連夜召喚潘嶽，原本就是想詢問在洶洶物議之前，該如何應對。
“明公可否告知下官，另外兩位楊將軍對此事是什麽想法？”麵對楊駿一夜之間青黑的眼圈，潘嶽不慌不忙地問。
“我三弟楊濟武將出身，其實與朝局所涉不多。倒是二弟楊珧心生退意，說什麽‘自古以來，一門二後的家族都沒有什麽好下場’，想要攛掇我和他一起辭官。”楊駿煩躁地回答。
楊家接連出了楊豔楊芷兩位皇後，“三楊”更是權勢喧天，因此楊珧能萌生出急流勇退的心思，倒也令人佩服。潘嶽心頭轉過這個念頭，麵上卻做出一副大驚失色的模樣，連連搖頭道：“明公萬萬不可聽從衛將軍的建議辭官歸隱，否則上負天子，下誤前程，那就中了宵小們的詭計了！”