蘇軾到了惠州，當地的官員久聞蘇軾大名，皆以禮相待，知州詹範尤其熱情，特許蘇軾暫住在三司行衙（北宋高級官員出巡的臨時住所）的合江樓。
合江樓位於惠州的東北部，東江和西枝江在這裏合流。此地風光優美，登樓可見遠處的連綿青山，又有江風徐徐而來，空氣中都是清涼的味道。蘇軾非常喜歡合江樓的環境，但這裏畢竟是官舍，他住著不方便，於是，不久之後，他便搬到了嘉祐寺居住。
緊接著，常態化的清苦日子開始了。惠州是個小城，蔬菜缺，肉更少。他在寫給蘇轍的信中說：“惠州市井寥落，然猶日殺一羊，不敢與仕者爭買，時囑屠者買其脊骨耳，骨間亦有微肉……意甚喜之，如食螃蟹……”
他寫信不談別的，專說吃羊脊骨的方法——如何炙烤，如何用針挑出骨間的微肉，吃出美滋滋的感覺。不過，這麽細致地挑吃羊骨，“則眾狗不悅矣”。蘇軾的言語間，有苦中作樂，有調侃之意，更有無奈之情。
此外，惠州作為嶺南之地，不同於內陸城市，城內雜居著漢族、客家族等多個民族，而少數民族也有自己的語言，蘇軾聽不懂，這讓他對嶺南感到十分陌生。
不過蘇軾天生是樂天派，將息數日之後，他便開始用一向平和而又充滿好奇的眼光打量周遭了。惠州地處嶺南，背靠羅浮山，氣候常年溫和濕潤，山林草木茂盛，而民間文化也多姿多彩，有漢劇、漁歌、山歌、舞龍、舞獅、舞春牛、舞火狗等各種文化活動。這優美的自然風光與豐富的人文盛景，極大地撫慰了蘇軾心中的落寞。盡管他依然會感慨命運多變，但相比元豐時期被貶官黃州來說，心態已然調整得很好了。
此時，在江浙的佛印禪師也寫信來安慰他，結果這封信成了曆代高僧的著名書信之一：