又是一個秋風秋雨的時節，蔡邕和他相依為命的女兒文姬告別了京師，告別了朋友，走上了西去流放的征途。一天深夜，一個帶刀的刺客竄入蔡議郎住的客店，不過他沒有下手，反而納頭便拜，對蔡邕說明自己是陽球派來行刺的，他讓蔡大人路上小心。一路辛苦，蔡氏家族到了與遊牧民族相鄰的陰山腳下的朔方郡，蔡邕和叔父去拜望郡守。郡守王智，是王甫的弟弟，一向羨慕蔡邕的名氣，蔡邕的到來，使他大為高興，想與蔡邕結交為友，借以抬高自己的名聲，再說，他也知道，哥哥和這次陷害蔡邕的程璜不大對路。他對蔡氏一家大加安慰，接著拿出一封書信給他們看。這又是陽球的書信，要求郡守相機下手，除掉蔡邕。郡守將他們安排到陰山南麵長城下的五原安陽縣，這裏的居住條件略好一些，並告誡他們多加防範。作為一名流放犯，蔡議郎開始服苦役，他的工作是牧養軍馬。
一天，有人送給蔡邕一對鮮活的鯉魚後便告辭了。他吃了鯉魚後非常感動，因為作為不能通信的犯人，他竟在魚肚子裏收到了朋友們的書信。牧馬歸來，他喝了些當地用馬奶釀製的帶點膻味的酒，撫琴吟唱了一首相當抒情的詩：
青青河邊草，綿綿思遠道。遠道不可思，宿昔夢見之。夢見在我旁，忽覺在他鄉。他鄉各異縣，展轉不可見。枯桑知天風，海水知天寒。入門各自媚，誰肯相為言。客從遠方來，遺我雙鯉魚。呼兒烹鯉魚，中有尺素書。長跪讀素書，書中竟何如？上有加餐食，下有長相憶。
朋友的書信中各訴他一個消息，即大家都在為他請求天子。特別是盧尚書，他以東觀的《後漢記》因蔡議郎流放而無法修撰為借口，屢屢上書。天子也說，蔡先生的才華，本朝無人可比。
次年，蔡議郎接到大赦令，命他速還京師。可臨行前的一件事，讓蔡議郎改變了行程。