陳全境兩三個月內即全部歸屬隋朝，於是南北四百年的分裂局麵宣告結束了。然而大一統實現後，隋文帝即麵臨鞏固統一的新問題。六朝在江南割據近四百年，大江南北各方麵的差異很大。也就是說，必須在消弭政治與文化差異的背景下建立新的統一，這是一件極其艱巨而複雜的事業，武力和簡單粗暴的高壓政策無濟於事，並不能安定江南政局。如何施以恩惠，感化舊陳民眾，清其反側之心，調和南北人士的感情，以促進文化合流，鞏固統一局麵，則是比軍事征服更複雜的問題。
晉王楊廣在平陳凱旋班師回朝受賞有加之後出鎮並州，重新肩負起監視和抵禦北邊突厥的重任。開皇十年(590)二月庚申(初二),隋文帝親臨晉陽(今山西太原市)巡視，至四月辛酉(初四)才從晉陽回到長安，居晉陽長達兩個月之久，足見其對北部邊防的重視及對次子楊廣的器重。
舊陳江南之地則交由三子秦王楊俊經營治理。楊俊為揚州總管四十四州諸軍事。為了更好地控製江南，隋文帝下令在江北築江都(今江蘇揚州市)新城，並下詔將建康城邑宮室夷為平地， “平**耕墾”。而在原石頭城(今江蘇南京市)地方置蔣州，蔣州之名則因石頭城外蔣山(今鍾山)而取，六朝故都的建康城，自此成了隋朝版圖內的一般州縣了。
然而，要統治江南，絕非是搗毀一座城堡所能奏效，鞏固統一的局麵，更非輕而易舉之事。這時的長江流域經濟文化已有了很大發展，許多方麵南方並不比北方差，與三百年前西晉滅吳時相比，情況要複雜多了。南方地方勢力除根深蒂固的吳姓門閥朱、張、顧、陸外，還有僑姓門閥王、謝、袁、蕭等。在江南腹地由於幾百年來不斷地開發，又湧現出許多新興的地方豪族，他們遍布於浙東閩中山地、贛江湘江流域及嶺南廣大地區。這些“溪洞酋豪”早在梁陳之際就趁亂起兵割據州郡，控製了地方政權，陳朝不得不承認既成事實，他們和三吳門閥共同形成了江南強大的地方勢力。