黃遵憲與張蔭桓訂交似在光緒二年（1876年），其時張為署登萊青道，受丁寶楨委派在煙台參與籌劃海防事宜，黃氏則侍父客居煙台。由於中英馬嘉理案的談判在煙台結束不久，世論於外交時局頗為關注。黃遵憲即在此時“識閩縣龔靄人易圖、南海張樵野蔭桓兩觀察，與樵野抵掌論當世之務”。[3]《人境廬詩草》收有數首當時黃與龔、張的唱和之作，頗見他們立誌經世的理念。數月後黃參加順天府鄉試中式，不久隨何如璋出使日本，從而開始了他的外交生涯。光緒八年（1882年）春，黃以駐日本參讚調任駐舊金山總領事。張蔭桓則於光緒七年由山東調安徽徽寧池太廣道，後署理安徽按察使，因李鴻章、閻敬銘等人舉薦，光緒十年（1884年）夏入京預備召見。不久，被賞以三品京堂在總理衙門大臣上學習行走。光緒十三年（1887年）張蔭桓赴美，臨行前專門派人“檄召”剛從美國卸任歸國的黃遵憲至廣州，邀他繼續擔任駐舊金山總領事。黃以“限禁華工之例禍端未已，慮不勝任，力辭”。[4]三年後張氏自海外歸，再次入值總理衙門，此時，黃遵憲卻又隨薛福成出使英倫。次年（1891年），清廷在新加坡（當時稱新嘉坡）設總領事，總署選調黃氏充任。縱觀張、黃訂交十多年，晤麵機會並不多，彼此卻欽服甚深。黃氏在新加坡所作《歲暮懷人詩》中有一首懷念張氏的詩雲：“釋之廷尉由參乘，博望封侯自使槎。官職詩名看雙好，紛紛冠蓋遜清華。”[5]詩中對出身寒微卻才華橫溢、位列廷臣的張蔭桓極表讚譽。光緒二十年甲午（1894年）戰爭爆發，是年底清廷派張蔭桓、邵友濂以全權大臣赴日談判，抵達上海後，張氏特召剛從新加坡解任回國、深悉日本國情的黃遵憲谘詢對策。對此，黃氏後來有詩雲：“公複探虎穴，經驅車前騶。絲轡黯無華，雲旌慘垂旒。謂我識途馬，召我來谘諏。檄我千裏船，揖我百尺樓。”[6]當時情景可見一斑。其後張氏在廣島被日方蠻橫拒絕，清廷複命大學士李鴻章使日議和。李臨行前托滯留滬上的張蔭桓薦舉“熟悉公法條約而有智略文筆者”，張氏複力舉黃遵憲。[7]後雖未成行，卻見張氏對黃之推崇與器重。