吳長慶非常信任和器重張謇，把張謇看成是自己的重要副手，讓張謇直接參與軍隊裏的決策大事，每月的薪俸是二十金。吳長慶還專門為張謇在軍營裏建造了茅屋五間，讓他讀書之用，還要為張謇出錢買官，張謇沒有依從。吳長慶對張謇很好，張謇也對吳長慶崇拜和敬重，兩人感情很是濃厚。在吳長慶舉辦50壽宴之時，張謇對吳長慶高度讚揚道：
屏後有侍史記言，帳下客狂生長揖。修文翁之學舍，置範氏之義出。帔憐任昉之孤，粟繼公西之母。愛民而蕭嶷平稅，濟人而鄭國興渠。分十道以捕蝗，出五校以逐獸。籌荒鄰境，遺丞相之蔓菁；示義富民，解趙州之金帶。又公等所得其一，而足以自豪者也。(張謇《張謇全集》)
由於打心眼裏對吳長慶欽佩和敬仰，也出於對他的感恩之情，張謇也傾心輔助吳長慶，做什麽事情，無不盡力。吳長慶當時名氣非常地大，在他的幕內，除了聰明有才學的張謇外，還有朱銘盤和周家祿等，全是當時的大名士。
光緒六年，也就是1880年的春季，朝廷升吳長慶為浙江提督，吳長慶接命進京朝見皇上，吳長慶也讓張謇隨同進京。是年冬，吳長慶奉朝廷之命幫辦山東防務，張謇也跟著吳長慶的軍隊移居至登州黃縣。
光緒八年，也就是1882年六月份，朝鮮國發生了“壬午兵變”，這個“壬午兵變”是朝鮮國內統治集團的閔妃派與喪失勢力的大院君派係之間的相互傾軋。日本國見有機可乘，就找借口說：“你們朝鮮國發生的內亂礙我們日本什麽事，卻讓我們日本國的使館人員遭到了損害！你們必須做出賠償，付出代價！”日本國的大使館人員哪遭到什麽損失，朝鮮國也明知道他們是故意挑釁，當然是不願給予賠償和付出代價了，於是產生口角摩擦。日本就馬上發布了命令，讓日本國的軍艦進抵仁川。他們的想法是進一步侵犯中國的東北地區。當時的清政府駐日使館接到消息後，也馬上做出了反應，電告署理直隸總督的北洋大臣張樹聲，此時正在中國天津的朝鮮閔妃派官員金允植與魚允中也請求清朝朝廷出兵朝鮮對兵變進行鎮壓，以抵日本。如此，朝鮮國內的派係鬥爭迅速變成了清朝政府和日本國的對峙。