正月丙戌(二十二日),晉王楊廣進入建康，而元帥長史高穎在此前已先入城。當時，隋軍雖占領了建康，活捉了陳叔寶，但陳境廣大地域並沒有全部平定。隨軍統帥部首先要處理的頭等大事，就是招撫各地仍在抵抗的陳軍。
上遊陳水軍都督周羅喉和郢州刺史荀法尚仍率軍駐守江夏(今湖北武昌),與駐屯漢口的秦王楊俊的水陸十餘萬大軍隔江對峙，雙方相持了一個多月。陳將陳慧紀率將士三萬，樓船千餘艘沿江而下，企圖入援建康，因受到秦王楊俊阻擋，無法前進。當建康下遊戰事基本結束之時，上遊戰鬥正在激烈地進行。上遊隋軍元帥楊俊、楊素等按既定方針作戰，吸引住了部分陳軍主力，為下遊渡江滅陳創造了條件。
如何盡快解除上遊陳軍的武裝，讓他們停止對抗，最好的辦法是將其招降。晉王楊廣的辦法是命陳後主親手書寫招降書，派樊毅等送至上遊，招降周羅聯等。陳將接到陳叔寶手書，知道抵抗已無意義，軍心即刻渙散，周羅睽於是與諸將麵向東方大哭三天，下令將部隊解散，然後來到漢口向秦王楊俊投降，陳荊州刺史陳慧紀也向隋軍投降。駐紮蘄口的隋蘄州總管王世積即派人告喻江南各郡，陳江州司馬黃偲聞訊棄城逃走，豫章(今江西南昌市)諸郡太守紛紛來向王世積投降。唯湘州刺史嶽陽王陳叔慎，乃陳叔寶之弟，年十八歲，詐降殺隋將龐暉，據城抵抗，被隋軍所擒，押至漢口斬首。就這樣，除少數人抗拒招降外，隋軍幾乎兵不血刃就將陳長江上遊地區全部平定。
建康下遊三吳會稽地區的陳軍也很快放下武器停止了抵抗，但前一年因抗拒隋接管，而驅江陵十萬民眾降陳的後梁宗室蕭岩、蕭叔侄，卻因害怕隋文帝的不寬容，於是，在其管內繼續抵抗。蕭岩入陳後授平東將軍、東揚州刺史，駐會稽(今浙江紹興),蕭入陳後被授予侍中、安東將軍、吳州刺史，駐吳州(今江蘇蘇州)。二人既為蕭梁後裔，在三吳地區有一定影響，陳亡後，當地士民推他們為主，抵禦隋軍。二人也企圖趁機恢複梁武帝的祖業。晉王楊廣沒有因為他們是自己的妻族而姑息，立即派遣宇文述率軍水陸並進東下征討。落叢公燕榮的舟師從東海進入長江口，與宇文述東西對進，夾擊蕭。蕭球留王褒守吳州，自己由義興逃入太湖，欲掩襲隋軍側後。但出身於僑姓門閥琅邪王氏的文人王褒，麵對強大的隋軍不敢交戰，扮裝成道士棄城逃走。蕭球隻好率殘部據守太湖中的包山，被燕榮的水師擊破，蕭球被俘。宇文述移兵會稽，蕭岩自知不敵，隻好投降。楊廣將這叔侄二人俘至長安，隋文帝下令斬首。自此，吳會地區也全部平定。