大目付堀利堅逼問小栗忠順也是逼不得已，這鹹亨洋行的跟腳簡直成了幕府重臣的一塊心病，不問的話他連自己都說不過去。
原來，隨著時間的推移，鹹亨洋行對幕府的幫助越來越大——本來，為了維持對外界的了解，幕府在西洋諸國中保留了蘭國作為通商對象，但蘭國商館與扶桑交往的目的是一直通商而不是扶持， 而鹹亨洋行是直秀一夥人專門用來扶持幕府的，所以在黑船的到來後，幕府愕然發現鹹亨洋行竟然成了必不可少的角色，但同時也引發了大量的疑慮和擔心。
在老中們的要求下，目付所重新回溯了與鹹亨洋行打交道的過往：
嘉永二年（1849年）八月，旗本崛直秀從海外歸來，除了自購的一艘西洋木船，隨行的還有一艘米人帆船——這是鹹亨洋行第一次正式出現在扶桑，當時名義上替崛直秀送貨，並沒有和幕府發生什麽直接關聯。
但嘉永三年（1850年），鹹亨洋行的船隻又出現在長崎，在新任長崎目付小栗忠順的操作下，又玩了一回蠻人獻寶，這算是開始與幕府打交道——但當時還談不上交易，當時幕府隻是收下了禮物，給鹹亨洋行的回報僅僅是燃煤、淡水和其它一些補給。
所謂的“又一回蠻人獻寶”，是指以前發生過一次。
在嘉永元年（1848年），曾經有米船來長崎，據說是什麽米人首富範德比爾特的船隻，當時船頭摩根和時任長崎目付役助的小栗忠順“一見如故”，而且摩根接觸了扶桑文化後發現其“博大精深”，所以獻上大量南蠻物。
當然，幕府也不是隨隨便便就收西洋人禮物的——“這不花錢的才是最貴的”，道理大家都懂，可奈何米人卸下貨物就溜了，這不收也收了，何況人家根本沒提通商或者其它條件，因此此事就不了了之——其實是當時的長崎奉行、長崎目付貪圖財物，小錢他們看不上，可當時是價值上萬兩黃金的南蠻物，而且都是沒成本的，發賣時大可上下其手。