光緒三十年（1904）二月，長期在中國東北盤踞、相互爭奪的日俄兩強大打出手，在中國的土地上打開了日俄戰爭。
一開始，這場戰爭呈現膠著狀態，日俄兩強在遼西一線展開拉鋸戰，當地巨匪金壽山、馮德麟、杜立三都是日俄雙方竭力拉攏爭取的對象，而這幾個巨匪支持哪一方，也都旗幟互鮮明。帶兵駐紮在這一帶的清軍管帶張作霖，又有不同。他像一條善於鑽營的遊蛇，表麵上奉命中立，實際上卻在一邊暗暗窺測方向，期望找到上爬，發展自己勢力的好機會。
戰爭初期，張作霖看來，俄軍勢力大些，他就一株牆頭草，倒向俄方，而他的倒又不是明確的，而是暗中秘密向俄軍提供一些情報、糧草，換取俄軍的槍械錢財和好感。可是不久，戰爭的天平向日本人傾斜，有奶便是娘，張作霖這就轉變態度，倒向了日軍。他掩護過日本間諜、向日軍遞給送情報……盡管當時他是一個微不足道的清廷小軍官，但他以他的精明、潛力，很快引起了敏感的日本關東軍注意。
隨著日本人取得的戰爭優勢，張作霖倒向日本人的立場也開始明朗，雙方關係日漸密切，日本關東軍方麵給張作霖相應的回報。
一年後，日俄戰爭以日本勝利而結束。就像賭場上的一場豪賭，有賭博基因的張作霖這一把大賭賭贏了，左右逢源的他，實力得到快速提升。1905年，張作霖雖然還是名義上的一個清軍統領，但已經不一般了，他的部隊由過去一個營擴展到了三個營、次年，膨脹為五個營；而且他的部隊遠較一般清軍裝備好，戰鬥力強。
這時的張作霖，就像一根堅韌成熟、攀援到相當的高度的青藤。身處遼西的他，高高地探出頭來，越過原有的攀援物，朝東三省的政治軍事經濟中心點奉天看去，他這一次看中了朝廷新派來的東三省總督趙爾巽。