自嚴武去京城赴任後，杜甫過得極不開心。
那段時間，杜甫常常陪在梓州刺史兼侍禦史章彝身邊。章彝因著嚴武的關係，一直對杜甫多有照顧，而杜甫為了家人的溫飽不得不陪他迎送客人。
那些客人知道杜甫文采出眾，所以常叫杜甫在宴會上吟詩助興。麵對此景杜甫隻能忍氣吞聲，壓抑著自己的心情。
杜甫在陪坐中，寫下許多陪宴和送別的詩句。這些詩句多半為應酬而寫，無半點詩詞韻味，與他出自本心所寫的詩句大不相同。
杜甫大半生都在失意，唯有寫詩是他最為得意的事。如今這“應酬賦詩”讓杜甫徹底厭倦了這樣的生活，因此他有了離開的想法。
章彝雖不願意，但仍答應了杜甫的請求。
廣德元年（763）十一月，杜甫計劃到江南去，章彝為杜甫餞行。杜甫後寫詩記錄了他當時沉痛的生活。
將適吳楚，留別章使君留後，兼幕府諸公，得柳字
我來入蜀門，歲月亦已久。豈惟長兒童，自覺成老醜。
常恐性坦率，失身為杯酒。近辭痛飲徒，折節萬夫後。
昔如縱壑魚，今如喪家狗。既無遊方戀，行止複何有。
相逢半新故，取別隨薄厚。不意青草湖，扁舟落吾手。
眷眷章梓州，開筵俯高柳。樓前出騎馬，帳下羅賓友。
健兒簸紅旗，此樂或難朽。日車隱昆侖，鳥雀噪戶牖。
波濤未足畏，三峽徒雷吼。所憂盜賊多，重見衣冠走。
中原消息斷，黃屋今安否。終作適荊蠻，安排用莊叟。
隨雲拜東皇，掛席上南鬥。有使即寄書，無使長回首。
杜甫為了活下去，小心應付著章彝和他的幕僚們，這才免了挨餓受凍之苦。如今計劃離開梓州，還得到了一些“遣散”費用，不覺有些心酸。
廣德二年（764）春，杜甫將妻兒接到閬州，計劃從閬水入西漢水至渝州東下。此時，嚴武推薦杜甫為京兆功曹，杜甫因已計劃東遊便拒絕了這次任命。待杜甫收拾起行囊，準備出發時，嚴武又接到了成都尹兼劍南節度使的任命。