雖被逐出軍營，但嶽飛的抗金決心並未因此動搖。南宋建炎元年（1127年）八月，嶽飛渡河北上，奔赴抗金前線——北京大名府，經過河北西路招撫使幹辦公事趙九齡推薦，會見了當時“聲滿河朔”，正多方收攬英才抗金的招撫使張所。這是他第四次從軍。張所知悉嶽飛的遭遇後，十分同情，便留他在“帳前使喚”。由於嶽飛的非凡見識、高超武藝，張所終於決定破格提拔他。先是“以白身借補修武郎”，繼而又升為統領，後又升為統製，分隸於名將王彥部下。
然而高宗、黃、汪等為了向金人乞和，有意打壓朝中的抗金力量：先是堅決主張抗金的李綱被罷相，繼而張所也因此前曾彈劾黃潛善而遭貶謫發配嶺南，最終死於貶途。被張所派去收複衛州等地的王彥、嶽飛一軍，也因河北西路招撫司的撤銷而成為孤軍。
李綱罷相後，東京開封府的留守宗澤就事實上成為抗金的中心人物。宗澤和北方的民間自發抗金武裝建立了廣泛的聯係，收編了號稱百萬人的大軍，積儲了足供半年食用的糧草。宗澤委任王彥為“製置兩河軍事”，王彥便派人命嶽飛所部“赴榮河把隘”。嶽飛和王彥難以共事，便決定率領部伍南下東京開封府，再次接受宗澤的領導。宗澤愛惜嶽飛的才幹，體諒他的愛國之心，原諒了嶽飛的違反軍紀（指率隊離王彥之事），留在營中聽候差遣。
臘月（1128年1月），金軍大舉南侵，進犯孟州汜水關。宗澤即派嶽飛為踏白使，讓他率領五百騎兵前往偵察。嶽飛在汜水關一帶擊敗金軍，凱旋後，即被宗澤任命為統領，不久又提升為統製。
宗澤死後，杜充繼任東京留守。其人“性殘忍好殺，而短於謀略”，置宗澤生前的計劃於不顧，北伐終告夭折。
建炎三年（1129年）正月，嶽飛奉東京留守司的命令從守衛北宋皇陵的駐地西京河南府返回開封。杜充出於排斥異己的動機，命嶽飛向守城將領張用、王善襲擊。時王善駐紮城東，張用駐紮城南，嶽飛、桑仲、李寶諸人駐紮城西，均負有守衛京師重任。嶽飛不願自相殘殺，婉言推辭，但杜充以軍法問斬相威脅，勒令嶽飛出兵。嶽飛有以往擅自脫離王彥的教訓，無法抗命，隻能出戰，南薰門之戰，以八百人擊退張、王部數萬人，以功升武經大夫。杜充又派馬皋等繼續追擊張、王部，卻被打敗。王善攻打淮寧，張用不從，引軍離去，自此成為遊寇，後終被嶽飛收降。自春至夏，嶽飛隨陳淬多次與王善作戰，王善率部東流西竄，最後降金。嶽飛因多次戰功先後轉武略、武德大夫，授英州刺史。