《馬關條約》簽訂後，朝野上下變法呼聲日益高漲。黃遵憲歸國後受署理兩江總督張之洞委托主持江寧洋務局，辦理江南五省曆年累積教案。在日漸興起的維新運動中，黃遵憲與張蔭桓都表現極為活躍。是年（1895年）底，文廷式、陳熾等人在北京創設強學會，張蔭桓即列讚助者之中；[8]黃遵憲則列名參加了稍後成立的上海強學會，並結識了康有為，這反映出他們政治理念的一致。不久因北京強學會被查封，上海之會亦無形解散，黃氏乃以上海強學會餘銀1200兩，並自捐1000兩為經費，聯絡汪康年、梁啟超、吳德潚等人，創辦了著名的《時務報》，於光緒二十二年（1896年）七月初一發刊。這份以宣傳西學和倡導變法為宗旨的新式報紙成為維新力量重要的輿論陣地。黃、梁等人通過在總署任章京的張元濟將《時務報》贈送給包括張蔭桓在內的朝中官員。[9]
是年，黃遵憲受回任兩江總督的劉坤一委派，與日本領事珍田舍己會議蘇州開埠之事。黃遵憲以為蘇州非江海口岸可比，力持自營市政，在治外法權問題上尤不讓步，“珍田氏竟莫能難”。[10]時論謂“蘇界以黃公度所議為最善”，不料，“日本以限製過嚴，全然翻異”，[11]致使所議廢棄。九月，黃遵憲奉旨入覲。此次入朝得到張蔭桓全力相助，從稍後派黃出使及遭拒事件中頗能見其原委。
十月十九日（11月23日）廷旨令黃遵憲以道員加卿銜授出使德國大臣，同時放羅豐祿為出使英國大臣。然而，德方竟然表示拒絕。有關此次變故的內幕與原因，說法不一。[12]一般認為，本來總署與樞府擬定黃遵憲出使英國，後因總稅務司赫德從中作梗，總署“輒恐英人之不懌，於是奉派使德”，而“德人亦誤傳英人不願接而拒之”。[13]據翁同龢日記稱，十月十八日（11月22日）到總署交涉事件的英使臣談到黃時，“說黃遵憲在新嘉坡有扣商人四萬元欲入己，今留在新嘉坡總督署”。[14]英使所雲當聞自於赫德，此即當軸者決定改派黃遵憲使德的潛因。不過，事情似乎並非如此簡單。事件發生時，汪大燮正在張蔭桓家充西席，他於是年十一月二十三日（12月27日）致汪康年的私函中，透露了一些局外人無法知道的內幕。不僅縷述了德國拒黃的詳盡原委，並述及張蔭桓從中挽救之情形。該函雲：