安政五年（1858年）八月十五日，江戶崛家屋敷出出進進的的客人很多，但氣氛卻不見熱烈。
在不知內情的人看來，好像這家發生了什麽不幸似的。
但事實卻與之完全相反，這家主人最近剛被幕府任命為箱館奉行，赴任在即，客人們都是來送行的。
“義卿兄，請您務必再仔細考慮下。直秀正需大才指引，拜托了。”
“過於抬愛了，實在是受之有愧。承蒙您這些年的關照，感激不盡！”
見吉田矩方態度很是堅決，無奈之下，直秀也隻能同意他的請求。
嘉永七年（1854年），吉田帶著弟子金子重之輔偷渡黑船失敗，之後被坦庵先生送到了白主。
第二年秋季，直秀考慮再三，最終決定還是助他圓夢——畢竟是維新前三傑，人才難得，於是就拜托三江洋行的小約翰將其送往倫敦留學。
當時同行的，除了吉田的弟子金子重之輔，還有五名白主的留學生——近藤長次郎和其他四名青蔥少年。
如今三年過去，吉田等人學成歸來。
本來直秀是想他在北地效力的，但吉田執意要回長州，直秀覺得也行吧，畢竟，如果大名鼎鼎的鬆下村塾要真被自己搞沒了，也挺可惜的。
因為還有客人等候，得到同意的吉田和金子就施禮離開了。而直秀則繼續忙碌，直到傍晚才把最後一位客人送走。
好不容易空閑了，十三歲的福太郎忍不住吐糟，“以前爹爹閑居的時候，可沒這麽多應酬。”
直秀知道他的心思，“兒子舍不得自己和英子離開，想多和自己相處，所以討厭這些人叨擾。”
所以他微微一笑，拉著福太郎就一起找英子大人去了。
說起來，直秀已經在江戶閑居快一年了。
安政三年（1856年）十二月，公方樣家定與島津家的公主篤姬大婚。作為臣子，時任白主奉行的直秀也被特旨召回。