西夏再次进攻怀德军，吴玠凭借这多次战功，补授为秉义郎，吴玠在军中崭露头角。建炎二年(1128)春天，金军西路军（完颜宗弼军）强渡黄河，出大庆关（今陕西大荔县东），进犯陕西，直扑泾原路。泾原路都统制曲端守卫麻务镇，命令吴玠为前锋，率军迎战。吴玠在青溪岭大败金军，追击三十多里，金军一向目中无人，这次才开始感到害怕。
吴玠被任命为泾原路兵马都监、兼知怀德军。金军攻打延安府，延安经略使王庶命令曲端进兵，吴玠向曲端建议：“不如扫荡金军巢穴，攻敌必所救，延安围可解”。曲端于是攻打蒲城，吴玠则东进攻打华州，收复华州（今陕西华县）。吴玠严禁士兵烧杀掠夺，不许骚扰百姓。建炎三年(1129)冬天，北宋“宋江起义”的余部、起义军首领史斌，率起义军攻打兴元（今陕西汉中），史斌没有攻克下来，只好转攻长安。
曲端得知，急调吴玠前去增援。吴玠在长安城外交战中，斩杀了起义军首领史斌。当时南宋宣抚处置使张浚巡视关、陕，这时正在长安。听到军事参议刘子羽报告了吴玠兄弟军事才能、战绩和胆量后，张浚专门招吴玠面谈，谈得非常投机。当即任命吴玠为统制、忠州刺史，让吴玠与他的弟弟吴璘共掌帐前亲兵。建炎四年(1130)春天，吴玠升任泾原路马步军副总管。
金国大将完颜娄室、完颜撒离喝攻下潼关，曲端急派在彭原的吴玠前去防御，自己亲率大兵到玠州作为援兵。金军前来进攻，没有想到被吴玠打得大败，撒离喝因损失过大，大哭不止，金军私下把他看成“啼哭郎君”。金军又调重兵、重整旗鼓接马再战。曲端援军迟迟不到，吴玠势单力薄作战失败。曲端趁机弹劾吴玠，说他不听指挥，擅自行动，罢免了吴玠的职务，降为知怀德军。
张浚了解事情的原委经过后，发现吴玠是冤枉的，不久升任他为秦凤路副总管、兼知凤翔府、忠州防御使等职。这年秋天，金兵大举进攻南宋，江淮形势异常紧张。张浚为牵制金军，以减轻东南之压力，张浚会合集结熙河路经略使刘锡、秦凤路经略使孙偓、泾原路经略使刘琦、环庆路经略使赵哲、陕西都统制吴玠“五路大军“于陕西富平，任命刘锡为统帅，准备同金军决战，吴玠建议应该把守各个要害地区，等到敌军困敝时乘机出击。
军队到达富平时，都统制又会合众将商议决战，吴玠说：“军队因为有利才行动，现在地势对我不利，没有看出可以和金兵决战的理由。应该选择高山占据，使敌人难以战胜”。众将却认为：“我众敌寡，前面又有沼泽芦苇阻碍，敌人骑兵难以施展，何必转移到其他地方”？ 刘锡否决了吴玠风建议。不久，金军杀到，用车载柴皮囊包土，填平沼泽顺利冲了过来，宋军大败溃逃，五路沦陷敌手，关中腹地失守，巴蜀地区由此变为抗金前线。
金军以奸相秦桧以为内应。军事战略上，由全面进攻改为重点进攻，所谓“两个拳头”打人。把一支主要的军事力量集中在陕西一线，由完颜宗弼（金四太子金兀术）率领，打算从秦陇攻入巴蜀，控制长江上游，再顺江东下，然后与从开封、江淮南下的金兵另一支主要力量、由完颜宗辅（金三太子讹里朵）的形成一个大迂回的战略包围圈。目的是一举将南宋小朝廷置于死地。
吴玠当然不会知晓金军的战略。为了抗金，他只能尽快收集散兵游勇保卫大散关（今宝鸡清姜河岸）东面的和尚原；他和弟弟吴璘积聚粮饷、修缮兵器，筑列栅栏围杆，准备做死守的打算。有人劝说吴玠退军屯驻汉中，控制扼守入蜀口，以安定人心。吴玠认为：“保住此地，使敌人不敢越过这里前进，我们在此坚壁清野等待敌人，敌人害怕我等从它后面进攻，就达到了拖住敌人，这才是保卫巴蜀的最好办法”。
吴玠在和尚原上，凤翔民众为感激他过去的恩惠，不分白天、黑夜加紧运送粮草。吴玠则赏赐感榭。金军大为恼怒，在渭河设伏兵截击、斩杀运送粮物的百姓，还实行“保伍”、“连坐”等法；严防民众偷运送粮草。绍兴元年（1131年），金将没立自凤翔，乌鲁、折合自大散关率数万骑南侵，两路金军会师于和尚原。金别将乌鲁折合从阶、成州出大散关，约期会攻和尚原。
乌鲁折合提前赶到，在北山列阵挑战。吴玠因敌众我寡，命令诸将坚固阵地。利用有利地形，分军两队，轮番作战。当一队杀到疲惫时，另一队生力军投入战斗。这样宋军如虎添翼，奋勇冲杀。和尚原山谷道路狭窄、乱石众多，金兵马匹不能行走，只好下马在地上交战。金人在地上作战，哪里是宋军对手？金军大败，打算移营黄牛堡（今陕西勉县西），恰逢刮起大风、天降冰雹，只好逃走了。
