萬曆十年（1582）的六月二十日，張居正積勞成疾病死在任上，終年五十八歲。
張居正自當首輔以來，無論寒暑均無休息，每天工作十幾個鍾頭。這種工作狂，縱是鋼筋鐵骨也撐持不住。在張居正病危期間，神宗曾探望他，說了一句動情的話：“先生操勞國事用心盡力，朕無以回報，隻是照顧你的子孫。”這句話，神宗說過多次。八年前說這句話時，他是真心的。張居正臨終時他再說這句話，便是違心的了。
萬曆十年的春節剛過，張居正就發覺身體不適，郎中診斷為“痔疾”，其實就是今天的直腸癌，而且是晚期。張居正強忍巨大的疼痛，堅持處理政務，實在堅持不住，便向神宗寫疏乞求致仕，以便骸骨回鄉。但神宗不同意，其因是他的母親李太後態度堅決。李太後懇切挽留張居正，她對張居正說：“先生有師保之責，與諸臣異，其為我朝夕納誨，以輔台德，用終先帝憑幾之誼。”神宗不能違背母親，也非常堅決地挽留張居正。
張居正數度乞休不得，甚至他向神宗陳述自己“血氣大損，數日以來，脾胃虛弱，不思飲食，四肢無力，寸步難移”時，神宗除了命太醫調治，仍婉言慰留。此情之下，張居正知道生還故鄉已不可能了，於是神情淒愴，病重時，他寫過一首《病懷》：
白雲黃鶴總悠然，底事風塵老歲年。
自信任公滄海客，敢希方朔漢庭仙。
離居可奈淹三月，尺疏何因達九天。
獨坐書空不成寐，荒蕪虛負北山田。
此時的張居正，盼望歸田不再隻是姿態，而是真正的悲情流露。但是，故鄉的白雲黃鶴，江陵的親友故舊他是再也看不到了。在病危期間，張居正已無法坐立或仰臥，他每日趴在病**，靠參湯維持一點力氣，他用幹枯顫抖的手握著筆，仍在艱難地批複各類公文，他是真正的“鞠躬盡瘁，死而後已”。