外放杭州的任命下來以後，蘇軾留戀京城，不想立即就走，“自此留京師幾一載”。直到“明年夏末秋初”，才帶領一家人到杭州赴任。到泗州時，爬到泗州僧伽塔，四下一看，陰雲欲雨，壓著農田，遠遠的有幾個老農用鞭子趕著幾頭老牛在耕地。蘇軾滿腹感慨，於是寫了一首《泗州僧伽塔》，說：有人想要老天下雨，有人又想出太陽，如果要滿足每個人的需求的話，那麽“造物應須日千變”才行。然後蘇軾說：
今我身世兩悠悠，去無所逐來無戀。
得行固願留不惡，每到有求神亦倦。
闡明自己很熱愛自由，來去了無牽掛，能走就走，不該留的絕不留，更不會去求神拜佛自求好運的想法。路上蘇軾想到了一個人，就是同樣被外放為官的歐陽修。
當時歐陽修因為反對變法而外放潁州，心情自然不好，加上長期喝酒，身體已經徹底垮了，須發皆白，兩腿亂抖。看到蘇軾來訪，非常驚喜，兩個大文豪放船潁州西湖之上，相對坐談。歐陽修的唾沫噴了蘇軾一臉，蘇軾也不在意，兩人都感覺特別開心。蘇軾在船上“插花起舞為公壽”；歐陽修則“醉後劇談猶激烈”，“公言百歲如風狂”。蘇軾安慰歐陽修說：“彼徒辛苦吾差樂”，京官有什麽了不起，還要辛辛苦苦地搞變法，哪有我們玩得開心呢？所以一個勁地勸歐陽修喝酒，“不辭歌詩勸公飲”，結果兩人大醉而歸。
不久，歐陽修在潁州一病而死。一代文豪，就此隕落。
蘇軾一路走走停停，四處訪朋拜友，夏天上路，一直走到冬天，杭州雖然遠，也還是給他走到了。他一到杭州，就給弟弟寫了一首詩報平安，《初到杭州寄子由》中說：自己以前“眼看時事力難勝，貪戀君恩退未能”，後來終於被趕出來了，弟弟你不要為我擔心，畢竟皇帝對我還是不錯的，“聖明寬大許全身”。現在我身體不好，“衰病摧頹自畏人”，那是文人自閉的典型症狀。