安政の大地震後、先代からの借財を返済できるまでになった嘉右衛門ですが、直後にまた不幸に巻き込まれます。今度は盛岡藩邸の普請を請負ったものの、暴風雨にあい、買い付けた材木が流出、更には盛岡藩から普請の代金の支払を拒否される事態となり、また借財を抱える羽目になってしまいました。
このときに助け船を出してくれたのが取引のあった佐賀鍋島藩の家老、田中善右衛門です。その斡旋により、安政六年（1859）開港当初の横浜の地で、佐賀の産物である白蝋や伊万里焼を一手に販売する「肥前屋」を開きました。
白蝋も陶磁器も外国人からの需要が大きい商品です。「肥前屋」の経営は安泰でした。しかし、背負った借財の返済を焦ったのか、嘉右衛門は法を破る闇取引を行ってしまいます。
といっても阿片のような薬物を扱ったという訳ではありません。金と銀を交換する取引を行った罪です。この話をするには、日本国内と海外の金銀の交換比率の違いを説明する必要があります。日本国内では東日本では金が、西日本では銀が貨幣として流通していました。この交換比率は金：銀≒1：4でした。
つまり、金1グラムが銀5グラムと交換できるわけですが、こんなに金の価値が低いのは日本くらいで、世界的な交換比率は約1：12と3倍の価値でした。
日本で買い物をするために、外国人が1ドル銀貨1枚を両替商に持ち込みます。これを日本の通貨の一分銀3枚（＝三分）に交換できました。これは地金（銀）の価値が同等になるように合わせた交換比率です。含有する銀の量が同じ、ということです。
日本の通貨単位は四分＝一両です。1ドル銀貨を基準にするとわかりにくいので、銀貨4枚（4ドル）で考えると、
4ドル分の銀貨⇒3×4＝12枚の一分銀⇒三両の小判（金貨）
となります。この小判を海外（例えば上海）で両替すると、金銀の交換比率が1：12なので、12ドル分の銀貨に交換できてしまいます。日本に来ていた商人だけでなく、船員までもがこぞってこの仕組みを利用し、持ち金（銀）を小判に替え、海外で再度銀に交換して増やしました。
嘉右衛門もその仕組みを利用し、外国人を相手に金貨を売り、国内の比率より多めに銀貨を受け取って儲けたわけですが、これは国法で禁じられた、今でいう外為法違反のような行為でした。このことで幕府から目を付けられ、いったんは潜伏しますが、後に逃れられないと自首、鉱山採掘や外国人への小判密売の罪でも逮捕され、万延元年（1860）投獄されてしまいます。慶応元年（1865）に赦免されますが、江戸所払いを命じられました。通貨の仕組みの説明で長くなりましたが、この続きは次回で。
