1094年，哲宗親政的第一年，廢去祖母高太後所立“元祐”年號，改元“紹聖”，誌在恢複神宗朝銳意進取的政策和作風。不久，保守派大臣呂大防、範純仁等接連遭到罷免，王安石手下的變法大將章惇東山再起，接任宰相。章惇在回京的路上就已明確表示，要深刻揭發司馬光等人賣國的無恥行徑。在這種情況下，當年追隨司馬光的保守派遭到了全麵清洗，蘇家兄弟更是首當其衝。
先是蘇轍上書反對哲宗重新起用那些“累年不用之人”，建議不要輕易改變“已行之事”，否則“大事去矣”，於是被貶知汝州，不久又被貶知袁州。
接著，禦史趙挺之、虞策、來之邵等人交章攻擊蘇軾“誹謗先帝”，借工作之便“敢以私忿形於製誥中”。四月，哲宗把他的這個老師貶知英州。
由喜歡寫野史的林希代表朝廷為蘇軾兄弟外貶寫製詞。給蘇轍的《降官知袁州製》中說：“太中大夫知汝州蘇轍，父子兄弟，挾機權變詐之學，驚愚惑眾。”經常“與軾大倡醜言”，“力詆先朝”，在工作中“罔上則合謀取勝，徇私則立黨相傾”。經研究決定，“特降授左朝議大夫知袁州”。
蘇轍看到“父子兄弟，挾機權變詐之學，驚愚惑眾”一句時，哭道，“某兄弟固無足言”，何必把父親也牽扯進來呢？
在給蘇軾的《落職降官知英州製》中寫道，蘇軾“行汙而醜正，學辟而欺愚”，屢次對工作不滿，“遂形怨誹，自取斥疏”。重新起用後，則“輒於書命之職，公肆誣實之辭”，應“宜竄遠服，祗奪近職”，“特落端明殿學士兼翰林侍讀學士，依前左朝奉郎知英州”。
從北方的定州趕往南方的英州，當中有一段很長的路程要走。蘇軾看到災害頻仍，流民遍地，聯想自己多舛的仕途，一路思歎。