幾經輾轉，張蔭桓於光緒二十五年二月二十一日（1899年4月1日）始抵達新疆省城迪化（今烏魯木齊市）。清廷聞報後覆令對其“嚴行監禁，妥為防範，毋得稍涉鬆懈”[27]。不過新疆巡撫饒應祺對張蔭桓這位“官犯”卻別待一格，“館之撫署，供給周備”[28]。張氏日以賦詩作畫自娛，“雖戍邊陲，不廢風雅”[29]。他還捐資在迪化府西外關鑒湖湖心島上修建了一幢二層閣樓，以表其寄情山水之意，至今仍在烏魯木齊人民公園內。[30]
然而，一年後，這種遠離政壇的平靜被一道嚴酷的諭旨完全打破。光緒二十六年六月初七日（1900年7月3日），清廷寄諭雲：“已革戶部侍郎張蔭桓著即正法，將此由六百裏加緊諭令饒應祺知之。”[31]饒應祺接諭後奉旨行事，張蔭桓遂於七月二十六日（8月20日）被殺於戍所，時年64歲。
朝旨不宣其罪而亂命殺人，且戮之唯恐不速，實與情理相悖。對於張氏被殺的原因，官私文獻記述不一。“論者謂出端、剛輩矯旨，非上意也”[32]；或言乃“用事者矯詔戮異己”[33]。羅惇曧《賓退隨筆·記張蔭桓》述之雲：“庚子端王載漪竊政，矯詔戮之，孝欽後不知也，回鑾時，惠湖嘉道吳永召見，後詢及蔭桓，吳永以庚子某月電旨（此處誤，宜為六百裏加緊之諭——引者按）正法對，後為之憮然。”[34]這裏言慈禧對張氏之死毫不知情，且有同情之心。也有論者以為處死張蔭桓是經過慈禧首肯的。李希聖《庚子國變記》雲：
（戊戌政變後）蔭桓以康黨係刑部，太後盛怒，欲殺之，求救於英人，得戍邊。（庚子）兵興，蔭桓上書總理衙門，言宜守約，載漪及剛毅惡之，為蜚語以聞，太後亦恐其通俄，故死。[35]
平心言之，張蔭桓久曆西國，熟知公法，在當時情勢下，其主張守約，反對開戰的態度是不言自明的。但以犯官身份是否上書朝廷尚無確鑿的證據。至於所言張蔭桓通俄之事，與張一貫的親英傾向相抵牾，官方文書檔案中亦無記載，似不可信。