嘉靖三十六年四月，奉天、華蓋、謹身三殿忽然著火，損失慘重，世宗下詔罪己，並齋祭五日。後來又聽信術士的話，準備速建正陽門樓。趙文華在工部任職，無法推托。怎奈朝旨命他兩日內竣工，時間倉促，哪裏能建得起來？趙文華隻好派人連夜趕築，兩天之後門樓隻築成一半。正巧這天是嚴嵩值班，世宗和他說：“朕命趙文華督造門樓，工期是兩天，他卻隻築了一半，難道是藐視朕不成？”嚴嵩上奏道：“趙文華自從南征回來之後，就中了暑，至今還沒有痊愈，想必是因此耽誤了，怎麽敢怠慢聖旨呢？”世宗沒有說話。嚴嵩退下去之後，馬上讓嚴世蕃去通知趙文華，讓他早作準備。趙文華立即上疏稱病，世宗親自批答，讓他回老家休養。趙文華接到聖旨，隻好收拾行裝，到嚴府道別。歐陽夫人可憐他，讓他多留幾天，趙文華也就留在京城，還想著官複原職。正巧世宗齋祭，停止晉封官員，趙文華便讓兒子趙懌思到宮中請假，說是要送父起程，無非是指望世宗把他留下。不料有旨傳出，竟然痛斥趙懌思顧家忘國，讓他立即戍邊；趙文華心存試探，目無君上，應削職為民。趙文華見了這種聖旨，不由得涕淚交加，萬念俱灰。後又父子離別，愁上加愁，沒辦法隻好帶著家眷，雇船南下。他平時本來就有病，遇到這有生以來第一件失意的事，立即舊病複發。一天晚上，忽然覺得肚子很脹，用手去撫摩腹部，隻聽噗的一聲，肚子竟然破裂，腸子流出而死，所有的富貴榮華，都化作泡影。
胡宗憲聽到趙文華的死訊，不免惆悵起來。那時候，海寇中還剩一個汪直縱橫海上。胡宗憲與汪直都是徽州人，汪直做了海寇，卻沒有把母親一起帶去。他的母親被關在獄中，胡宗憲命人到徽州將他的母親接到杭州，好生款待，並親自去慰問過一次，讓他的母親給汪直寫信。汪直收到家書後，非常感動。胡宗憲又派蔣洲前去說服汪直，汪直歎了口氣說：“徐海、陳東、麻葉三人都死在胡都督的手中，我難道也要去自尋死路？”蔣洲說：“這話說錯了。徐海、陳東等人和胡都督非親非故，都督為國家除害不得不那樣做。您與他都是徽州人，自然有特別的情誼。現在足下的家眷都在杭州，一切衣食都由胡總督供給，要不是念在同鄉的份兒上，肯這麽優待嗎？”汪直問道：“照你說來，胡都督真沒有害我的意思？”蔣洲說：“不但不想害你，還要替你保奏呢。”汪直躊躇了很久，才說：“既然這樣，你先回去。我自然會帶著兄弟們投降。”蔣洲和他約好日期，回去報告胡宗憲。