桓溫向朝廷告狀，順利排擠了殷浩，朝中大權盡歸他手。這時候前燕已經消滅冉魏，奪取了中原，氣勢正盛，桓溫認為應該避開前燕，於是決定首先北伐前秦，朝廷批準。
永和十年（354）二月十一日，征西大將軍桓溫統率四萬兵馬浩浩****從江陵出發。水軍經襄陽，穿均口，抵達南鄉；步兵從淅川直奔武關。
桓溫派兵攻打上洛，活捉了前秦荊州刺史郭敬，後又攻破青泥。同時命涼州刺史司馬勳從子午穀出兵北上伐秦，司馬勳攻取了前秦西部的土地。前涼也前來支援晉，派秦州刺史王擢攻打陳倉。
苻健早知桓溫威名，聽說桓溫來攻，迅速準備防禦。他首先命人收割了地裏的麥子，堅壁清野，然後派太子苻萇、丞相苻雄、淮南王苻生、平昌王苻菁、北平王苻碩等率領五萬大軍在嶢關集合，可以說精銳盡出，去抵擋桓溫大軍。
四月二十日，桓溫的主力部隊到達藍田，與前秦軍展開廝殺。苻生力大無窮，單槍匹馬衝入桓溫軍隊，殺進殺出十幾次。桓溫部將應誕、劉泓盡被殺死，晉軍損兵折將，損失慘重。但晉軍不甘示弱，將士們奮勇拚殺，桓溫也親自帶兵衝殺，前秦軍終於不敵，被打得大敗。
打仗親兄弟，上陣父子兵。桓溫取得勝利，他的弟弟桓衝在白鹿原也擊敗了前秦猛將苻雄。隨後，桓溫轉戰前進，於四月二十五日抵達灞上。
太子苻萇退守城南，苻健則和六千老弱殘兵守衛長安小城。苻健把城內僅有的三萬精銳兵士全數派出，交給大司馬雷弱兒率領，讓他與苻萇等合兵一處，共同抵抗晉軍。
關中郡縣迫於桓溫威勢，紛紛來降。桓溫讓他們不要慌張，說自己隻是討伐逆賊，和老百姓無關，讓他們安心生產。老百姓們有的帶酒，有的拿肉，紛紛出來迎接、慰勞桓溫軍隊，有些老年人很久沒有看到晉朝的軍隊了，他們老淚縱橫，歎道：“想不到我們有生之年還能再見到王師！”桓溫看到這場麵也很激動，不斷向大家施禮道謝。