安政六年（1859年）六月底的时候，咸亨洋行跑路，自嘉永三年（1850年）开始与幕府进行的密贸易由此中止。
因为之前毫无预兆，所以幕府中枢闻讯后异常震惊。
经过勘定所、长崎奉行所和目付所共同努力，在折腾了约一个半月后，这才发现此事早有征兆：
第一，咸亨洋行的人员早就开始撤离，但幕府居然迟钝地对此毫无警惕。
于嘉永七年（1854年）成立的对马水军传习所中，本来有八名西洋水军教授，都来自咸亨洋行。但安政四年（1857年），幕府在江户开办筑地军舰教授所，裁撤对马水军传习所，这八名洋人就离开扶桑了。
同时，本来韭山炼铁所还有一些西洋技工，也是咸亨洋行提供的，但后来也都走了，时间同样在安政四年。
至于经商的人员，因为咸亨洋行做的是密贸易，因此采购、销售都委托给长崎奉行所，只在对马岛有3个常驻人员。可这些人这次也以探亲的名义一起随商船溜了。
现在看，一个人都不留，当然是极其可疑。
可之前两边亲密无间、如胶如漆，谁能想到咸亨洋行突然撤走呢？对此，幕府严加惩处了监管的人员，可依然与事无补。
另一个征兆就是双方交易商品种类的变化。
本来，咸亨洋行在输入书籍、报刊、机械、军械之余，也会输入一些布匹和其它兰物。但自从安政二年（1855年）开始“以扶桑金易海外银”后，这些普通货物的份额就逐步降低。
按理说，交易额下降是贸易中断的明显征兆，可因为双方金银兑换的数目逐年增加，居然没有人注意到这一点——因为表面看贸易额是上升的。
其实，也不是没有人提前察觉危险。
小栗忠顺在长崎奉行任上时，鉴于咸亨洋行的重要性，他就曾向江户提出过多次建白：
“自安政元年签署三国和亲约定以来，西洋船往来日多，因行隐秘事，咸亨船往来长崎多有不便。请另择新泻或它地为隐港，以防不测。”
其实，小栗已经发现了咸亨洋行中断贸易的一个理由，那就是往来不便。
自1854年扶桑与米人、英吉利、兰国签署了和亲约定后，到扶桑特别是长崎港的西洋船只日渐增多，这给咸亨洋行造成了很多不便。
要知道，当时签订的只是避难港、补给港的内容，名义上能和扶桑通商的还是只有兰国一家。因此，咸亨洋行做的密贸易，虽然交易对象是幕府，但也得偷偷摸摸地，不然兰国抗议是小事，如果惹的其它西洋诸国以此为借口要求通商，那就麻烦大了。
原本也不是没有遮眼法，开始时咸亨洋行打的是唐人旗号，但现在西洋船多了，万一兵船将其堵在港口里，那不就真相大白于天下了么。
说实话，兰国商馆当时还真动了这方面的心思，就算自己不动手，但可以通知米人、英人啊，干系自然可以摘除得干干静静。但考虑再三，鉴于其在扶桑的利益不小，最终兰人还是没有轻举妄动——虽然有人和自己抢生意，但如果打掉这个弱的，然后召来一群饿狼和自己抢食，好像犯不上啊。
小栗第一次相关上书是嘉永七年（1854年）夏季，当时与咸亨洋行的密贸易地点已经转到了对马群岛的芋崎港。
“无事身非！”
幕府觉得对马岛已经足够隐秘和安全了，因此小栗的上书没有得到回应。
其实，小栗是一片忠心，这通商就是财路，作为长崎奉行，他建议换地交易，这就是把金银往外推啊。
但奈何别人不怎么看啊。
他的上奏写啥都行，可万万不应该提及“新泻”这个地方：
首先，新泻港附近有个幕府的心头肉——佐渡金山。作为扶桑当时最大的金银产地，佐渡岛就是幕府的命脉，谁碰谁死。这把咸亨洋行放到新泻去，万一召来其它西洋饿狼怎么办？
再一个，小栗忠顺的老爹忠高，曾经担任佐渡奉行多年，这换地对别人是舍弃一条财路，对小栗而言，这不是从碗里挪到锅里去了么？
长崎奉行有两个，因
此另一位长崎奉行对这个建议激烈反对：
“铁桶一般的长崎不说，芋崎也不为外人所知，哪里用的着换地！
真担心的话，长崎附近不是还有不少小岛吗？选一个做交易地好了。”
这就是站着说话不腰疼，对马岛辣么大，又是海上交通要冲，怎么能算是“不为外人所知”；而长崎附近的荒岛确实很多，可要是能做交易地，那幕府这些年早干嘛去了？
再说了，日后西洋诸国压迫扶桑开港，提出的地点一共是五港两都，也就是七个港口。这些地方依次为长崎、箱馆、神奈川、兵库、新泻和江户、大坂，从隐秘看，也就是新泻是可选的转移之地——其它地方要么太繁华不利于保密，要么就是西洋船众多。
因此，小栗忠顺真是出于一片公心。
但奈何他说了不算啊！这些年来，咸亨洋行主动请求了多次，小栗忠顺也屡次上书，但这交易地还是一直没改，就固定在对马群岛的芋崎港。
等安政五年（1858年），小栗卸任长崎奉行役职后，咸亨洋行也认命了。
但交易地在对马岛芋崎港，这可把咸亨洋行坑苦了：
虽然是米人海商，但奈何扶桑和米人还没正式通商呢，这撇下同伴吃独食是犯了大忌！
而且，虽然没有明文规定，但向扶桑这样的非西洋国度输入先进军械、机器和技术，那可是犹大一样的行为，真被抓到，就算不被当众吊死，那也是群起攻之、身败名裂的下场。
就为这，咸亨洋行于1855年换皮为四海洋行，而且怕泄密没敢通知幕府。
同时为了建立防火墙，同年还成立了松江汇理洋行，彻底将直秀一系的海外力量分割为明暗两处。
但就算这样，事情依然向不好的方向变化。
安政二年（1855年），对马水军传习所里有西洋教授的消息走漏。