隋朝的統一大業，其實始於北周武帝。早在滅北齊之後，北周武帝已經著手討伐突厥，但最後死於北伐突厥的戰事。因此，北方的安定，對於統一南方，解決後顧之憂是非常重要的前提條件。
從西魏大統八年（542），突厥從連穀等地入內地起，這一少數民族不斷對中國北方政權產生威脅。北朝後期，東魏與北齊、西魏與北周，都爭相與突厥交好，在“控弦數十萬”[2]的強大武力支撐下，突厥獲得了大量經濟與政治上的好處。
隋文帝立國之始，北周千金公主慫恿夫君突厥沙缽略可汗為北周皇室報仇，自幽州（今北京城西南）到臨洮（今甘肅岷縣）向隋王朝北部邊疆發起全麵進攻，隋朝不得不修築長城，鞏固邊塞。後隋朝實施反間計，采納大將軍公孫晟的建議，利用“離強合弱”、“遠交近攻”的策略，激起突厥內訌，加上天災饑疫，突厥分裂為東西兩部，強大的東突厥內部又分為十股勢力。同時，隋文帝在軍事上對突厥也取得了一些勝利，在交涉中又進一步分化突厥，於是突厥各部顯現衰落之勢，不得不遣使求和，北周千金公主也自請改姓，隋文帝賜姓楊，改封大義公主，取大義滅親之意。此後隋朝才能夠得以專注於南方平陳之事。
滅陳之前，隋文帝首先把早已歸順的梁國廢除。早在西魏攻破江陵、殺梁元帝蕭繹以後，梁武帝孫蕭詧被立為傀儡的梁朝皇帝，領有江陵沿江之地300裏，成為西魏、北周的附庸，史稱西梁。自隋文帝代周稱帝，北朝和南朝的政權，同樣以漢族地主階級為主體，南北對立的民族矛盾，基本已經消失，後梁傀儡政權的存在便沒有必要了。開皇七年（587），隋文帝征後梁主蕭琮（蕭詧孫，蕭巋子）入朝於隋，至大興後，隋文帝留琮不遣，並派崔弘度為江陵總管，將兵戍荊州，後梁亡國（曆三主，共33年，554—587）。這是滅陳的第一個步驟。