早年，董若雨是一個足不出戶的漫遊者。盡管屣跡未至，名山大川卻全讓他給遊了個遍。之所以無法出遠門，老母在堂，想走也走不遠是其一，家門寒衰、囊中拮據是其二，最讓他犯難的還是他多病的身體。他的胃不好，咽不下粗糲的食物。眼睛不好，夜視尤其吃力。肺不好，一走山路，喉嚨就發出破風箱一般的嘶嘶聲。
孫克弘《銷閑清課圖》之“觀史”
為了能在夢中遊賞，他就在房間的四壁掛滿了山水畫卷。“畫壁臥遊青嶂小，紙窗聽雨綠蕉秋。”在四壁山水的包圍中，在雨打芭蕉聲中，悄然入夢，是多麽愜意的一件事啊！那些年他夢遊所至的名山大川，計有廬山、武夷山、峨眉山、衡山和雁**山等。這種夢中的旅行既無須為銀子不夠犯愁，也不必擔心身體吃不消。想想這樣的美事，他夢裏頭都要笑出聲來。他還采購來了大量木料，在屋上架設了一個亭子，屋上架屋，借從高處遙望青山白雲，以更好地臥遊。他希望他的夢中有更多的山，為此他還選中了一塊風水極佳的地方想造一個亭子，連名字他都想好了，就叫夢山亭，隻因為湊不足蓋亭子的錢，這個計劃才遲遲沒有實施。
等到有條件出遊了，他一般也不敢跑得太遠（最遠的那次應是四十七歲那年的武昌之行吧），主要還是在湖州、嘉興、無錫、蘇州一帶盤桓。每次出遊，他都為路上帶什麽書斟酌再三。掂量來掂量去，就像一個多情的君王，哪一個妃子都舍棄不下，卻又不可能全都給帶上，搞得自己實在是糾結不堪。
一般短途陸行的話，帶的書大概有五十擔，如果坐船，那就可以帶得更多，約有十篋之多。在他還是一個孩子的時候，他對自己一生的構想，就是三十年讀書，後三十年遊曆天下。這麽說吧，他嗜書就像酒徒離不開酒，好色之徒離不開女人，這一輩子從來沒有離開過書。“雲中乍訝聲如豹，迎著挑書入屋來”，這是帶著一大堆書途中投宿。“一床書傍藥爐邊”，這是日常家居讀書。五十六歲那年，他在一封寫給兒子的家書中說：