這大喜之後的大悲讓糧官昏厥了三天三夜，全家沉浸在巨大的悲痛之中。
外人以為糧官日後的期望都落在小兒子身上，會鼓勵他超過他的哥哥，再次金榜題名。
讓所有人意外的是，糧官勉強恢複精神之後，辭掉了家裏的老師，燒掉了家裏的所有書，將姥爹叫到麵前，說道：“我以後再也不要看到你吟詩作對，挑燈夜讀。此後的鄉試會試，我再也不允許你參加。”
許多人為姥爹的才華可惜，紛紛勸糧官改變決定。可是糧官隻字不聽。
君為臣綱，父為子綱。讀四書五經的姥爹自然不敢違背父親的意思。對他來說，父親就是天。
放棄了追求功名的姥爹天天無所事事，以前用來苦讀的時間現在都空了出來。他突然感覺到前所未有的無聊。
他想了很多方法打發時間，跟走鏢的拳師學過武術，跟出名的畫師學過畫畫，跟雲遊的和尚學過佛經，也跟遊方的道士學過道術。
糧官知道小兒子一身的精力沒地方使，便給了他一些盤纏，說道：“我不讓你讀萬卷書，那就讓你去行萬裏路吧。”
於是，姥爹在哥哥病逝之後的五六年裏遊遍大江南北，訪遍千古名山，全國的每一個省份他都去過。曾經一度他還跟一位高僧走出國境，到達過印度。
後來清朝滅亡，天下不太平，姥爹才停止遊曆，回到家鄉。
這一次毫無目的地“行萬裏路”之後，姥爹對“子不語”的東西興趣大增。孔子說的東西他讀得太多，也懂得太多，所以當不被允許談論這些的時候，他自然會對孔子沒有關注過的東西感興趣。
他在遊曆的過程中遇到了一些難以解釋的事情，這也是促使他對道術異術感興趣的重要原因之一。
姥爹曾到過西藏的林芝地區。那裏有世界上最深的峽穀——雅魯藏布江大峽穀。姥爹正是要去看雅魯藏布江大峽穀而去那裏的。