金川島以及江島大牢的地形構造，林縛早就從按察使司調閱過詳細的資料，江島大牢都建在汛期洪峰線以內，給長一百六十丈、高兩丈的磚石垣牆圍在裏麵。在堅固高大的磚石垣牆外側、東西北三麵還另築一道矮土牆，土牆與垣牆之間留下狹窄的空間，作為供更夫通過的更道，也是巡道。
牆頭牆腳都鋪滿荊刺，使得整座江島大牢看上去像座城堡。
除了監房之外，司獄廳也建在高牆之內，這也將是林縛以後在島上日常署理公務與生活起居的地方。
位於高牆之內、監房南端的司獄廳是座由四進院落組成的建築群。前院為正式的署公場所，前院有三間正廳，班房四間，林縛就職後將在這裏日常辦公。與城中大牢不同，江島大牢的司獄官及獄吏、班頭雖無明文規定，卻因為往返城中不便，都要長期在獄中值守，中院後院便是司獄官與獄吏、班頭的住處。林縛獨自占一間中院，其他書吏、獄吏、班頭共住後院。最後一進院子是武卒院，供守獄武卒以及雜役居住。
司獄廳與監房之間還有一道高大的垣牆相隔，垣牆之後就是江島大牢的主體建築監房了。監房內建有一棟獄神廟、一棟拜殿、一棟廚房、二棟外監、三棟內監，此處，還建有下院，是定案各犯親屬探監之地。
一般說來，大牢專設內監是用來關押重刑犯與惡案犯，方便加倍的戒嚴，還有一道垣牆將內監包圍在最裏層。不過牢城之議被否決之後，江島大牢關押的都是無錢贖罪的普通坐監囚犯，再加上整座江島大牢以按照兩千囚犯滿員的標準進行設計建造，現時關押的囚犯才兩百多人，所以內監房一直空著未用。
林縛走進高牆，沒有去署理公務的前院，而是直接到他將搬進來住的中院，由於前司獄官葛祖信走得忽忙，此時的中院有些淩亂，庭下種植兩株老梅，正當梅花開放之季，枝頭的梅花都散落到地上，還給人惡狠狠的踩過幾十腳。