這艘從《遊居柿錄》中遊來的江南木製樓船有一個正式名字叫“泛鳧”。袁小修把這條寄托性命的船取作這個名字是想仿效偉大的《楚辭》作者屈原，“泛泛若水中之鳧，與波上下，偷以全吾軀”。萬曆三十七年（1609）春天，兩次會試落第將近不惑之年的詩人袁小修駕著這艘收拾得風雅別致的樓船從家鄉公安縣沙頭啟程，順長江而下，正式開始了他籌劃了一年之久的吳越之行。
這是袁小修的第五次江南之行。前四次出遊，基本上都是在考試落第之後出來散心解乏。說來難以置信，才三十九歲的小修已經有了八進考場的非凡經曆。為考取舉人的學位他參加過六次鄉試，從十七歲考到三十三歲耗時十七年，為了取得更高一級的進士的學位也已經有了兩次失敗的記錄。現在，船已解纜離岸，詩人袁小修要用吳越精致的山水洗滌“俗腸”了。甫離塵世的牢籠返歸自然，他覺得自己像黃昏掠過河麵的水鳥一樣自由無羈。心情一好，自然手癢難忍，袁小修在舟中鋪開日記，以《東遊記》為題興致盎然地記錄起了沿途風光和經曆。
上溯二十個年頭，二十歲的小修對科舉應該說還有很高的期待，但他那時已經開始謀劃另一條人生途徑了。是出仕還是退隱？他曾認真地考慮過這一問題，並在京城預購了一處房產“杜園”作為退路。他認為，現在這年紀，“心躁誌銳”，未來人生的方向是顯是隱尚不分明，但中年一過，生命的情勢自然會像棋局一樣分明起來，到時這個園子自然就可以派上用場了。
此後的近二十年間，袁小修一麵在科舉的路途上繼續蹭蹬前行，一麵又不斷地對為了功名奔走如牛馬的人生產生質疑，退隱的念頭不時在腦海中盤旋翻騰。在北京探望大哥伯修時，他發現大哥雖居高位，生活卻勞累不堪。而當他見識到北京官員的奔勞時，更不禁自省“家有產業可以糊口”，卻“舍水石花鳥之樂，而奔走煙霾沙塵之鄉”，實在是把人生的手段與目的顛倒了。