蘇軾滿腹感慨，翻山越嶺，於元符三年七月初趕往廉州。過海時，遇上大風雨，船行艱難，隻好在海上過夜。蘇軾睡不著，起身見天水相接，星河滿天，不禁感歎道：“吾何數乘此險也。”看到自己寫的《易傳》等文章都帶在身邊，“而世未有別本”，如果被水淹了，就太可惜了，於是祈禱說：“天未欲使從是也，吾輩必濟。”
蘇軾在《記過合浦》一文中記載，他這話一脫口，果然風平浪靜。上岸以後，繼續趕路。一邊用“平生多難非天意，此去殘年盡主恩”來討好新上台的趙佶，一邊打點行囊，打算在廉州先安下身子再說。可一個月後，朝廷又詔改蘇軾為舒州團練副使，永州安置，把他又調到湖南零陵去了。蘇軾隻好再次收拾行囊，於八月底離開廉州，經廣州前往湖南。
快要過大庾嶺時，一天，蘇軾有興致，坐著兩人抬的小轎子出門去玩。不巧抬轎的竹杠斷了，蘇軾就到附近的龍光寺求兩根竹子用。和尚們知道蘇軾，就送了兩根大竹子，並請蘇軾吃了一頓飯。蘇軾照例要寫詩，說要把龍光寺的這兩根大竹子拿到嶺北去讓萬人觀看，這兩根竹子有神奇的魔力，“竹中一滴曹溪水，漲起江西十八灘”。
蘇軾舟行到江西時，上岸玩了數日。一天正要起船，突然“江水大漲，贛石無一見，越日而至廬陵”，順風順水。蘇軾對身邊的朋友鄭重其事地說了一句：“舟行江漲，遂不知有贛石，此吾龍光詩讖也。”
到大庾嶺上時，借住在一個農家小院。一個老頭沒事，就過來問：“官為誰？”
蘇軾隨從向前答道：是蘇尚書。
老頭聽了，急忙作禮道：“我聞人害公者百端，今日北歸，是天佑善人也。”
蘇軾聽了很開心，看來自己的形象不錯，於是在老頭家的牆壁上寫了一首詩：