建炎四年（1130年）秋，金軍大舉進攻南宋，江淮局勢頓時吃緊，為了牽製金軍東路主力金兀術所部，以避免金軍再次渡江南下危及南宋政權，張浚決定主動出擊，在西北發動攻勢。但張浚是個文臣，並不懂軍事，在沒有經過認真準備的情況下就貿然讓劉錫、劉錡、趙哲、吳玠等五路大軍屯於陝西富平，令劉錫為統帥，欲與入陝金軍決戰。當時，吳玠和劉錡均不同意如此草率行事。為此，吳玠入諫說：“兵以利動，此間一帶平原，敵人多為騎兵，容易為其所乘，恐有害無利，應先據高阜，憑險為營，方保萬全。”但是，張浚完全沒有把吳玠的準確分析放在眼裏，因為人多勢眾，他自大地認為：“我眾彼寡，又有葦澤相阻，縱有敵騎前來，也無從馳騁，何必轉陟高阜呢！”作為統帥的劉錫因為眾人意見不一也拿不定主意，就在他猶豫之際，金兵已經蜂擁而至，他們皆擔柴兜土，填投葦澤中，霎時間泥淖俱滿，跟平地一樣。於是，金軍騎兵輕易就越過障礙，進逼宋軍各營。隨後，金兀術也奉令自六合率部趕到，與金將婁恃分左右翼，列陣挑戰。吳玠、劉錡在左翼與金兀術軍大戰，吳、劉身先士卒，奮勇馳殺，金軍漸漸後退。但沒想到的是右翼的趙哲臨陣潰逃，使吳、劉陷入了金軍的左右夾攻之中，最終，宋軍大敗。不久，陝西幾乎全境失守。
富平之戰，是宋金戰爭中規模最大的一次戰役，也是宋朝損失最大的一次戰役。這次戰役的失敗，揭開了吳玠獨自領兵抗金生涯的序幕，也終於給了吳玠不再受節製而得以一展身手的機會。
富平戰役之後，吳玠受命為陝西都統製，他集攏散兵屯糧退保大散關（今寶雞西南）以東的和尚原，積粟列柵，訓練士卒，以死扼守入蜀通道。吳玠還和他的士兵們歃血為盟，從此吳玠部隊軍心穩定，戰鬥力漸強。經過精心策劃，紹興元年（1131年）五月，金軍東路從鳳翔西上，西路自階州（今甘肅武都）、成州（今成縣）東出大散關，合攻和尚原。有人勸吳玠退入漢中，以避其鋒。吳玠憤然予以駁斥，慨然說：“我在此，敵不敢越我而進，保此地就是保蜀。”吳玠對和尚原的戰略地位十分了解，和尚原位於大散關以東，四麵陡峭，頂上平寬，進可攻，退可守，金兵想要攻蜀就得先攻和尚原。不久，西路金軍先到和尚原北山，分兩路從正麵和側後麵進攻，吳玠率士卒堅守陣地，以逸待勞，他激勵將士輪番作戰、休息，依托地形以弓弩殺傷金兵。四戰四捷，士氣大振。金兵都是騎兵，吳玠就命令將士專挑山高溝深的地方伏擊。和尚原都是山穀，路狹多石，戰馬發揮不了作用，金軍被迫舍馬步戰，而山地戰金軍遠遠不是宋軍的對手。連戰三天，金軍戰敗後退往西南的黃牛堡，又遇大風雨雹，無奈隻得退回鳳州。東路金軍攻打箭笞關（今陝西千陽南），也被吳玠事先派出的部隊頑強擊退。同時吳玠又派出一小部繞小路迂回到金兵後麵，奇襲金兵，金軍大敗。