叔姬和仲瀛護送母親離京回湘了。臨走前，仲瀛一再招呼丈夫讓亦竹早日回北京。楊度是給亦竹去了信，但不是叫她回京，而是要她在蘇州定居下來，他已決定隻身飄**江湖。叔姬走後，夏壽田無心再在槐安胡同住了，便應直隸督軍曹錕的邀請，去保定做了督軍衙門的秘書長。從此，槐安胡同就隻剩下楊度一人了。
僅僅在兩三年前，這裏還是京師權貴要員密談國事、士紳名流縱論詩文之處，整日裏車馬盈門，冠蓋如雲，而今已徹底冷落下來。除偶爾有幾個佛子居士前來走動外，大門一天到晚緊閉著，附近街坊還以為這個四合院裏早已無人住了。
楊度天天做著自己規定的功課：晨起打坐一個時辰，然後讀佛經，中午午睡一個時辰，下午撰寫參禪心得，夜晚臨睡前再打坐一個時辰，中間穿插一些諸如蒔花、練字等項目作為調劑。他戒掉了煙酒葷腥，一日三餐素食粗茶。他常常陶醉在這種自我營造的氛圍中，覺得無思無慮的日子真是過得無憂無愁，倘若普天之下的人都這樣皈依了禪門，則一切糾紛、爭鬥不就自然而然地止息了嗎？
白天如此悠閑自在，但夜半的夢寐卻常常將他帶回過去的年月：乙未年慷慨悲憤的公車上書，東洲小島上湘綺師授課時的炯炯目光，扶桑國寓所留日學生對救國方略的激烈爭論，改朝換代那些日子裏的南北奔波，總是或斷或續或隱或顯地出現在眼前。每當這時，他不得不披衣而起，或枯坐床頭，或遊弋庭院，在夜風吹拂中，在星光注視下，他感到孤獨、惆悵、痛苦、茫然，有時甚至會生發出無端的恐懼。次日早晨打坐時，則往往會心猿意馬，難以安定。是修煉功夫尚未達到泯滅一切的程度，還是無我宗其實也不能真正地做到無我呢？白天與中宵間的兩極反差，使這位先前的帝王學傳人、今日的佛門居士，陷於不能解脫的困境。