大業十二年（616）七月，楊廣第三次與江都親密接觸。
剛到江都不久，楊廣的老臣宇文述就一病不起，病情日益嚴重。宇文述從北周時期就開始征戰，在楊廣時期則把持朝政，臨死前放心不下的竟是幾個兒子。小兒子宇文士及娶了楊廣的女兒南陽公主，封尚輦奉禦，為人老實，宇文述沒有什麽好擔心的。另外兩個兒子宇文化及、宇文智及，是標準的紈絝子弟，從小生活在特權中，曾在為官時因犯罪被削職為民，待在家裏無所事事。宇文述就向楊廣請求說：“臣的長子宇文化及是臣的繼承人，希望陛下多多哀憐他。”楊廣聞後，潸然淚下。
到了十月，宇文述去世。楊廣為之罷朝，追贈司徒、尚書令、十郡太守，諡號“恭”。楊廣令黃門侍郎裴矩為宇文述祭祀，鴻臚監護喪事，又任命宇文化及為右屯衛將軍，宇文智及為將作少監。然而，後來也正是宇文化及弑殺了楊廣，命運可謂奇妙。
不管怎樣，對於當時的楊廣來說，宇文述的死意味著從他年輕時就一直見證他成長和輝煌的老人離開了。從此，再也沒有人對楊廣的輝煌過去有親身體驗，能夠詳細描述了。
楊廣這次三遊江都，美麗的曇花仿佛也失去了往日的魅力。這不僅是因為宇文述的亡故，還因為他剛到江都，中原就遍地民變，繼而全國大亂。史載：“普天之下，莫非仇讎，左右之人，皆為敵國。”楊廣在江都很快就陷入了困境。
此時，楊廣早已經沒有繼位之初開創盛世、建功立業的雄心了，他隻想保住性命，偏安一隅，繼續做他的皇帝。
上天不遂人願。時間進入大業十三年（617），局勢急速惡化。正月，竇建德在河北當起了長樂王。二月，割據朔方郡的梁師都見有人稱王了，就勾結東突厥汗國，攻陷陝北諸郡，做起了皇帝，自稱“梁帝”。而攻陷洛口倉的李密比較“謙虛”，不稱王也不稱帝，在中原各路反王的公推之下，做起了“魏公”。四月，隴西的薛舉自封“西秦霸王”，攻城略地。有讀書人提醒薛舉，“霸王”二字太過粗野，薛舉覺得有道理，也做起了皇帝，稱“秦帝”。再往西，李軌占領河西走廊，自稱“涼王”，重新割斷了中原與西域的交通。七月，楊廣的遠房親戚李淵在太原起兵南下，大大出乎楊廣的意料之外。等到十月，李淵占領首都大興城。很快又傳來消息，隋朝的武陽郡丞元寶藏向李密獻城投降，李密進而攻陷了黎陽倉。隋王朝的政府囤糧全部成了起義者的軍糧。