魏軍繼續逼近蜀軍，雙方在祁山一帶展開了幾個回合的攻防戰：
《晉書》記載：在漢陽，魏軍與蜀軍相遇，司馬懿使將牛金（司馬懿帶來的荊州勇將，原曹仁的部下）輕騎餌之，“兵才接而亮退”，雙方都在進行著試探性攻擊，隻是諸葛亮在撤退途中，未能選準好的戰鬥位置，而繼續退卻。
諸葛亮退至祁山附近，屯駐鹵城，據南北二山，斷水為重圍。
在這裏，《晉書》與《資治通鑒》的記載很不相同。
《晉書》記載：“帝攻拔其圍，亮宵遁。追擊，破之，俘斬萬計”。
而《資治通鑒》沒有采納唐代編纂的《晉書》說法，而是采納了《漢晉春秋》的說法，記載：“（司馬懿）既至，又登山掘營，不肯戰。賈嗣、魏平數請戰，因曰：“公畏蜀如虎，奈天下笑何！”懿病之。諸將鹹請戰。”
也就是說，在祁山附近，雙方應該是陷於僵持。這個時候，諸葛亮同樣麵臨他在上邽時的局麵，腹背受敵。
在張郃等全體魏軍將領的強烈要求下，司馬懿終於進行了較大一次與蜀軍的戰鬥。
要知道，當時的張郃僅僅比司馬懿位置低一點，又是百戰名將，並且長期與蜀軍交鋒。《三國誌張郃傳》也稱，當時是皇帝下詔由張郃都督諸位將領來救祁山。可見，張郃在軍中說話的分量。
於是，直到五月份，司馬懿部才開始部署軍隊直接進攻諸葛亮中軍，派張郃進攻南麵王平的大寨。諸葛亮則派魏延、吳壹、高翔等對魏軍展開反擊，雙方展開激戰，均有不少的傷亡；同時，由於王平忠勇善戰，張郃軍攻擊何平（王平）的行動也沒有成功。其中，《漢晉春秋》記載，這一戰蜀軍獲甲首（有不同說法，個人認為是正規重裝士兵的首級）三千級，玄鎧（個人認為是重甲騎兵的鎧甲）五千領，角弩（遠程攻擊武器，一般位於步騎之後，蜀軍繳獲如此之多，可見步兵是遭到了慘敗）三千一百張。