開皇五年(585)十月，隋文帝任命吐萬緒為徐州總管， “令修戰具”。又派李衍在漢江上遊重鎮襄州(治今湖北襄陽)“營戰船”。十一月，又任命上柱國楊素為信州總管，居永安(今四川奉節縣)“造大艦”,大修戰備。開皇六年(586)十月癸醜(初六),隋文帝於襄陽置山南道行台，任命秦王楊俊為行台尚書令，主管長江中遊、漢江的軍事。開皇七年(587)四月，隋文帝下令於揚州開連接淮河與長江的運河山陽瀆，用於運輸戰略物資。滅陳的準備工作緊鑼密鼓、很有秩序地進行。
為了加強長江中遊的軍防力量，開皇七年八月，隋文帝征後梁主蕭琮入朝，楊廣的這位大舅子皇帝不敢怠慢，馬上率隨員二百多人從江陵出發。蕭琮一行到長安後即被扣留不遣。隨即，隋文帝恢複了江陵總管，派武鄉公崔弘度率隋軍戍衛江陵。後梁留守江陵的蕭琮叔父安平王蕭岩、弟弟義興王蕭球等對隋軍的到來十分惶恐，怕遭突然襲擊，於是向陳宜黃侯陳慧紀請降。九月辛卯(十九日),蕭岩等人即驅後梁文武大臣及男女百姓十萬餘口逃奔陳朝。隋文帝聞知後即下詔廢後梁國，派左仆射高須往江陵安輯遺民，取消蕭琮傀儡帝號，拜上柱國，賜爵莒國公。
隋文帝容不得後梁傀儡皇帝，更難容昏君陳叔寶了，他對宰相高穎說：“我為民父母，豈可限一衣帶水不拯之乎?”於是公開並加快了滅陳備戰步伐，在長江中上遊及漢江“命大作戰船”。與此同時，長江下遊的隋軍也加緊備戰，吳州總管賀若弼“以老馬多買陳船”,積極準備渡江。
在隋軍為滅陳大做準備之時，陳後主仍在花天酒地，惑於嬖寵女色，他異想天開地學梁武帝自賣於佛寺為奴，希望能壓住江南“妖異”,又耗費巨資在建康造大皇寺，建七極浮屠，還未完工，塔中火起燒了個精光。這時陳朝政治已腐敗到了極點，隋晉州刺史皇甫續向隋文帝呈言“陳有三可滅”:一是以大吞小；二是以有道伐無道；三是陳納叛臣蕭岩，於是找到了出兵滅陳的借口。