兩天後，胡不歸的船在睦州治所建德縣碼頭靠岸（當時睦州古城未被新安江水庫淹沒，千島湖隻是睦州古城外的一片丘陵地，新安江灣流其間）。倒不是他們不想坐船了，而是新安江到睦州後就進去上遊山區，大船無法通行，要去婺源就得改走陸路。
下船的時候，怒長老又怒了。無他，隻因肥的更肥，瘦的更瘦了，叫他好生挫敗，還要繼續操練三人。俞章和胡霖拔腿就跑，下了船，我們可就有地方躲了。倒是胡不歸跟老爺子解釋，說俞章這叫壓力肥，您操練得越狠，他壓力就越大；壓力一大胃口就好，沒看見這兩天在船上他吃得比誰都多嗎？胃口一好，能不長肉嗎？怒長老聽完又要打他，敢情還是我害他長肉嘍？
胡不歸也跑了。跑的時候發現城裏頭有不少假裝隱藏身份、實則一眼就能看出的江湖客，三三兩兩，見到他們隻看一眼便匆匆離開。俞章湊過來說這些人鬼鬼祟祟的一看就不像好人。胡不歸說這些看起來就像壞人的人一定是壞人。胡芷汀深以為然，本想狠狠瞪回去，可一想這樣會給小烏龜招惹麻煩，他惹的麻煩已經夠多了，就生生忍住，人不犯我我不犯人。
胡不歸覺得城裏氣氛有異，沒有投店，而是帶著一行人直接前往胡家睦州分堂去找三哥胡霆。睦州分堂在建德城外，臨水的一處半山腰，原本就是個村寨，據說是當年孫權派賀齊平山越時候駐軍的地方。睦州是都城杭州的西大門，從沿海和西府等地過來的商貨都要在睦州中轉，或北上，或西進。幾十年前新安江上出了水匪，胡家出手**平，並以保護鄉民為由買下村寨加以整飭，慢慢將其改造成堅固的山寨堡壘。山後有梯田、寨中有水源，居高臨下控製山下的幾條道路。
與孔武粗豪的二哥胡雷不同，胡霆為人精幹，所以把他派來臨近邊境、離宗堂最遠的睦州。不過胡霆見到胡不歸時神情有些怪異，雖說很快就恢複正常，還是叫胡不歸敏銳的抓到了。