嘉慶五年的新年剛剛過去，阮元便即踏上了東行之路，早在上一年末，阮元便即致信浙江提督蒼保、定海總兵李長庚、黃岩總兵嶽璽與溫州總兵胡振聲，約定次年一到，便共商海防之事，台州正在沿海三鎮之中，是以阮元選了台州作為集議之所。這時胡廷森見阮元果然盡心政務，刑律、捕盜之事也日漸嫻熟，便漸漸放下了心，告別了阮元北歸揚州，而王昶依然留在巡撫部院。由於王昶也曾親曆乾隆朝數次大戰，是以這次東行，阮元便特意邀請王昶一同前往。
路上車船東進數日，便即到了台州。到得台州府衙，果然看見李長庚、蒼保、嶽璽、胡振聲四員提鎮將軍，早已在府衙中坐定。阮元見了四將，也一一行禮拜過，看著李長庚更是親切，道：“西岩兄，你治軍之事，我也是多有耳聞，西岩兄無論寒暑，都是身體力行，親自操船掌舵，船隻有了毀損，也同麾下官兵一起修理，堂堂一方鎮台，能謙遜如此，實在讓我慚愧了。”
李長庚也笑道：“阮中丞這是哪裏話，其實中丞這兩個月在浙江的所作所為，才真是讓我刮目相看呢。聽說中丞之前隻做過翰林學政，州縣卻未親曆，可這兩個月下來，烏鴉船、陳阿三兩股劇盜，竟然全都被你剿滅了！論計劃之密、行事之速，就連我也是自愧不如啊。不瞞中丞，你當時叫我派兵看守寧紹交界的時候，我可一直是疑惑不解，後來聽說陳阿三一夥悉數就擒，才清楚其中始末啊！”
然而這時，蒼保卻忽然說道：“阮中丞，各位鎮台，咱們今日到此，商議剿滅海寇事宜，確係必要，此間也尚有諸多未決之事，急需尋些可行之策出來。但這裏畢竟是台州府衙，來往的人多了些，隻怕……”
“蒼軍門所言有理，當下行事，須得謹慎。”阮元聽了蒼保建議，正與之前自己在撫院使用年長兵士的辦法如出一轍，自然認同，可想尋個隱秘之處商談軍機卻也不易。徘徊之間，忽然一瞥，見到城東有一座三層小樓在門牆中矗立，他曾任浙江學政，來過台州，知道小樓坐落何處，也對四名提鎮說道：“各位提鎮，在下之前在此處任過幾年學政，那東首之樓，在下最是熟悉。那裏是校士館，那座樓名為四照樓，也有些時日不用了，正是個商議軍機的絕佳處所，不如各位便隨在下一起，移步校士館如何？”