吳玠和嶽飛是同時代人，他出身卑微，父親吳扆少年從軍，為水洛城寨卒，寨卒相當於鄉兵的一種。由於作戰勇敢，吳扆從一名普通士兵逐漸升至指揮使。吳扆為人寬容大度，但有時未免寬厚過頭，對部下的管教就失之嚴厲，因此軍紀不整。在一次對敵作戰時，吳扆手下的士兵竟然怯戰逃跑，致使宋軍吃了敗仗。吳扆的上司——水洛城的寨主非常生氣，但念在吳扆平時的功勞，隻是對他處以杖刑。吳扆覺得這是一種羞辱，從此做事常常心不在焉。就是這心不在焉，使他在一次作戰時，猝不及防被一箭射死。吳扆死後葬在水洛城，因而吳玠全家就徙居水洛城。
都說環境造就人，這話一點不假，從吳玠身上就可以清楚地看出環境對人的影響。據《宋史·地理》記載，陝西“被邊之地，以鞍馬、射獵為事。其人勁悍而質木。”由於地理位置的特殊，秦隴自古便是匈奴、突厥等遊牧民族與漢族對壘的戰場。長期的戰爭使這裏的氛圍完全不同於中原，而吳玠居住的水洛城，更是一個以軍人為職業的地區，這裏除了士兵就是士兵的家屬。吳玠就生長在這種環境下，這使得他為人“深毅有誌節，知兵善射騎，讀書能通大義”，而且為人慷慨豪爽，具有典型的軍人氣質。
大約在政和元年（1111年），吳玠“以良家子”入伍從軍，隸屬於涇原軍（方鎮名，治所在今甘肅省平涼）。不久，他便在抗擊西夏的戰爭中，立下戰功，升為進義副尉，權（代理）隊將。後參與鎮壓方臘起義軍及河北起義軍，屢立戰功，逐漸升為忠訓郎，任權涇原第十一正將。
靖康元年（1126年），西夏犯邊，侵擾懷德軍（今寧夏固原北），吳玠率百餘人打敗西夏軍，斬獲頗多，因其武勇晉升為涇原路第二副將，在軍中初露鋒芒。