高宗對杜充放棄開封的舉動不加責罰，反而還命他負責長江防務，升任右相。高宗在建康稍事逗留，就又返回杭州，並派使臣杜時亮向金營呈送《致元帥書》。
如此屈辱的書信，並未取得金人的憐憫。1129年秋，金軍又兵分多路向南進犯。完顏撻懶（漢名昌）領軍進攻淮南，完顏兀術（漢名宗弼）則領軍直接進攻江南，直搗趙構所在的臨安（杭州），企圖一舉滅亡南宋，占領整個宋朝領土。
十一月初，兀術占領長江北岸和縣。金軍沿長江北岸東進，與李成合攻烏江，離建康不到百裏。杜充向朝廷上報“督師詣采石防守”，卻深居簡出不做準備。嶽飛入杜充寢閣，苦勸再三至於流涕，但也無濟於事。
聽到金軍渡江的消息後，杜充才派都統製陳淬率嶽飛、戚方等將官統兵兩萬奔赴馬家渡，又派王燮的一萬三千人策應。陳淬率軍力戰，嶽飛率右軍和金國漢軍萬夫長對陣，王燮卻不戰而逃，陳淬戰死，諸將皆潰，嶽飛苦戰無援，整軍退屯建康東北的鍾山。杜充又棄建康，逃往真州，不久降金。建康失陷。
馬家渡之戰後，嶽飛決定脫離杜充，獨自轉戰金軍後方。時嶽飛的部下有叛逃者，嶽飛向他們慷慨陳詞，士卒皆被感動，願隨嶽飛作戰。杜充投敵，宋軍紛紛潰散。潰軍中一些北方將領不願再戰，欲推舉嶽飛為主帥，一同投金。嶽飛假意應允，乘其不備，帶親信數人與之相鬥，一連擊敗數十人；嶽飛又對眾軍嚴肅訓誡了一番，眾皆心悅誠服，軍心遂定。
兀術占領建康府後，親率主力追趕宋高宗。高宗由越州逃向明州，隨後又從明州乘船，逃到海上避難。
完顏兀術由建康進軍，接連攻下溧水、廣德、安吉、湖州，直取杭州，嶽飛則領軍在其後方，伺機給予痛擊。嶽飛遣劉經率兵千人夜襲溧陽，順利攻克了被金軍占領的溧陽縣城。嶽飛親自領軍轉戰廣德境中，六戰皆捷。駐軍廣德軍的鍾村，軍糧用盡，將士忍饑，卻不敢擾民。