建德四年七月，北周軍隊兵分數路，對北齊發起了大規模進攻。武帝禦駕親征，自率主力大軍六萬進攻河陰（今河南孟津縣北）；楊堅奉命率領舟師三萬，自渭水進入黃河，負責策應主力及各路偏師。
八月，北周軍隊一路勢如破竹，各路人馬一共攻克北齊三十餘座城池。其中，武帝和齊王宇文憲分別攻克河陰、武濟、洛口等地，迅速進圍洛陽，但卻在此遭遇齊軍頑強抵抗。九月，北齊援軍大舉南下，偏巧武帝又在這個時候患病，北周軍隊為了保存有生力量，不得不放棄已經占領的三十餘座城池，全線撤軍。楊堅擔心舟師逆流西返很容易被齊軍追及，遂下令焚毀艦船，與陸軍主力一起撤回關內。
此次東征雖然未能取得勝利，但從戰爭一開始便取得的輝煌戰果來看，周軍的戰鬥力顯然遠遠高於齊軍。有了這樣的判斷，武帝滅齊的決心便越發堅定了。用他自己的話說，正是這次東征讓他“前入齊境，備見其情”，才發現“彼之行師，殆同兒戲”，所以有了“窮其巢穴，混同文軌”的必勝信念。
建德五年（公元576年）十月，經過一年時間的養精蓄銳和周密部署，武帝再度集結重兵，對北齊發動了最後一次致命的打擊。這一次，楊堅被任命為右翼第三軍的主將。十月底，武帝親自督戰，指揮各軍攻克了北齊的軍事重鎮晉州（今山西臨汾市）。齊後主高緯親率大軍從晉陽（今山西太原市）南下，對占領晉州的周軍進行了猛烈的反攻。兩軍在此激戰了一個多月，齊軍始終未能奪回晉州。
十二月六日，武帝親率八萬大軍，與齊軍在晉州城外展開決戰。戰前，武帝策馬巡視了各軍陣地，對各軍主將一一勖勉，極大地鼓舞了官兵士氣。與之形成強烈反差的是，在這個決定帝國命運的重大時刻，齊後主高緯居然還把寵妃馮小憐帶在身邊，片刻不離。兩軍開戰後，齊軍東翼稍稍退卻，跟高緯一起在山崗上並轡觀戰的馮小憐便花容失色，驚呼“我軍敗了”，高緯遂不顧左右勸阻，帶著馮小憐倉惶北逃。