卻說霍顯心虛情怯，悔懼交並，霍禹對顯道：“既有此事，怪不得縣官斥逐諸婿，奪我兵權，若認真查究起來，必有大罰，奈何奈何！”霍山霍雲，亦急得沒有主意。還是霍禹年紀較大，膽氣較粗，自思一不做二不休，將錯便錯，索性把宣帝廢去，方可免患。比母更凶。忽又見趙平趨入道：“平家有門客石夏，善觀天文，據言天象示變，熒惑守住禦星，禦星占驗，主太仆奉車都尉當災，若非罷黜，且遭橫死。”霍山正為奉車都尉，聽了平言，更覺著忙。就是霍禹霍雲，亦恐自己不能免禍。正在秘密商議，又有一人進來，乃是雲舅李竟好友，叫做張赦。雲亦與交好，當即迎入，互相談敘。赦見雲神色倉皇，料有他故，用言探試，便由雲說出隱情。赦即替他設策道：“今丞相與平恩侯，擅權用事，可請太夫人速白上官太後，誅此兩人，翦去宮廷羽翼，天子自然勢孤。但教上官太後一詔，便好廢去。”雲欣然受教，赦也即告別。
不意屬垣有耳，竟為所聞，霍氏家中的馬夫，約略聽見張赦計謀，夜間私議。適值長安亭長張章，與馬夫相識，落魄無聊，前來探望。馬夫留他下榻，他佯作睡著，卻側著耳聽那馬夫密談，待至馬夫談完，統去就寢，便不禁暗喜，想即借此出頭，希圖富貴。心雖不善，但不如此，則霍氏不亡。朦朧半晌，已報雞聲，本來張章粗通文墨，至此醒來，又複打定腹稿，一至天明，即起床與馬夫作別，自去繕成一書，竟向北闕呈入。宣帝本欲杜除壅蔽，使中書令傳詔出去，無論吏民，概得上書言事。一麵由中書令逐日取入，親自披覽。至看到章書，就發交廷尉查辦，廷尉使執金吾官名。往捕張赦、石夏等人。已而宣帝又飭令止捕。
霍氏知陰謀被泄，越覺驚惶。霍山等相率聚議道：“這由縣官顧著太後，恐致幹連，故不願窮究。但我等已被嫌疑，且有毒死許後一案，謠言日盛，就使主上寬仁，難保左右不從中舉發，一或發作，必致族誅。今不如先發製人，較為得計！”已經遲了。乃使諸女各報夫婿，勸他一同舉事。各婿家也恐連坐，情願如約。會霍雲舅李竟，坐與諸侯王私相往來，得罪被拘。案與霍氏相連，有詔令霍雲霍山，免官就第，霍氏愈致失勢。隻有霍禹一人，尚得入朝辦事。百官對著霍禹，已不若從前敬禮，偏又經宣帝當麵責問，謂霍家女入謁長信宮，注見前回。何故無禮？霍家奴馮子都等，何故不法？說得禹頭汗直淋，勉強免冠謝罪。乃退朝回來，告知霍顯以下等人，膽小的都嚇得發抖，膽大的越激動邪心。顯忐忑不安，夜間夢光與語道：“汝知兒被捕否？”光果有靈，當先活捉馮子都，這全是霍顯驚慌所致。霍禹也夢車聲馬聲，前來拿人。母子清晨起床，互述夢境，並皆擔憂。又見白晝多鼠，曳尾畫地，庭樹集鴞，惡聲驚人。宅門無故自壞，屋瓦無風自飛，種種怪異，不可究詰。