皇帝身邊有各種各樣打小報告的人，嘉靖早就聽說了趙文華督師江南時“黷貨要功”的事。徐海被**平後，趙受召回京，聽說皇帝對自己有了看法，就稱微染小恙，皇帝即以要他安心養病為由，奪去了他的本兼各職。過了些日子，幹脆降為邊衙小吏，催他著即赴任。不管他先前是真病假病，這一來，真的病重了。
趙文華是在南下途中暴斃的。那一日，船行駛在京杭運河上，他忽然腹痛如絞，一整夜手捂著肚子在船上滾來滾去，就像一條擱了淺的白條。等他安靜下來，船上人發現他已經歪著頭死去了，肚子爆裂，腸子都流了一地，腥膻不可聞。有久曆江湖的，說他是中了一種極厲害的毒，才會死得如此之慘。
這是1557年7月的事，當時胡宗憲正在一門心思對付汪直。
得悉老搭檔橫死，胡宗憲慌了手腳。再加王滶為了報複胡宗憲殺降，帶了日人大肆襲來，東南沿海的倭患鬧得更凶了，像王本固這樣的頑固派，多次上書彈劾胡宗憲，皇帝也嚴旨切責，胡宗憲陷入了四麵楚歌。恰巧他的手下在舟山捕獲了一隻白鹿，胡宗憲當作祥瑞送到京師，並讓幕僚徐渭寫下一篇《白鹿賦》，果然，喜好齋醮和青詞的皇帝收到這份禮物後，天顏頓開，行了告廟禮，又加了胡宗憲官秩。胡宗憲的政治對手加大了攻勢，嘉靖說，宗憲功大，又獻祥瑞，不可罷他官，於是胡宗憲僥幸過關。
此時，王滶的海盜船隊已經移師定海城東麵的柯梅，且有向閩、粵蔓延之勢，胡宗憲率水師圍堵，海盜船突破包圍，連下福建連江、羅源二縣，還把福州城圍了好幾個月。朝廷追究責任，胡宗憲此時已失朝中奧援，於是把不怎麽聽話的總兵俞大猷推了出來，說“縱賊”的責任全在這個驕傲輕敵的將軍身上。俞被下令逮至北京問罪，幸有人惜其將才，指點他去走嚴嵩的兒子嚴世蕃的路子，打通三法司關節，俞大猷免去了牢獄之災，被發往大同效力。此後崛起的抗倭名將，是青年將領戚繼光。