Zonos Classifyの新モデル、分類エラーを29.4%削減

すでに優位だったモデルを刷新した理由 

従来のモデルはECに向けて徹底的に調整されており、その調整は効果を上げていました。

一方で、EC・郵便の双方で繰り返し見えてきたのは、手がかりとなる情報が非常に少ないケースが多いという事実です。ECの商品掲載には、説明的なタイトル、カテゴリー、素材に関する情報が含まれていることもあります。そうした掲載も多くあります。しかし、ブランド名と商品名しかない掲載はそれ以上に多く、Summit Ridge Mid という名前の掲載からは、それがハイキングブーツなのか、バックパックなのか、ジャケットなのか、ましてや何でできているのかはわかりません。

最も難しいのは郵便です。Zonosは米国に入る郵便貨物の大部分を取り扱っていますが、そこでは小包の内容が、箱を梱包した人によって税関申告書に2、3語で書かれているだけのことが多く、それ以外の情報は何もありません。

今回の刷新が対象としたのは、まさにこうした商品です。どのチャネルから届くかにかかわらず、説明からほとんど情報が得られない商品です。

「Tシャツ」は16以上のHSコードのいずれにもなり得る。では、どれなのか? 

申告書に t-shirt とだけ書かれていたとします。これは16以上のHSコードのいずれにも該当し得ます。正しいコードは、シャツの素材、誰向けの裁断か、どのように編まれたかによって決まり、それぞれの答えによって課される関税も変わります。綿と化学繊維だけでも異なる号に分類され、税率は大きく異なります。

これをカタログ全体に掛け合わせてみてください。Kid-Silk Mohair 25g のようなタイトルは日常的に目にするものですが、それでも関税率表の1行に落とし込まなければなりません。

今回注力したのは、こうした難しいケースです。説明が十分な商品にも同じように注意を払っていますが、それらは分類システムがつまずく可能性が低いというだけです。

測定方法 

新モデルの測定は、当社がベンダーに求めるのと同じ方法で行いました。自社で選んだテストセットではなく、実際のトラフィックでの測定です。当社プラットフォームを通過した2週間分の分類リクエストを使用しました。つまり、お客様が実際に送信するタイトルと説明であり、説明とはほとんど呼べないようなものも含まれます。

このトラフィック全体において、新モデルは従来モデルと比べてエラーを29.4%削減しました。

これは旧モデルを再調整したものではなく、新しいモデルです。学習に用いるコーパスを再構築し、公式の税関裁定と、当社の分類システムが日々目にする数百万件の部分的にしか説明されていない商品掲載を組み合わせて学習させました。

同じ貨物での競合他社との比較 

自社の旧モデルとの比較だけでは、わかることに限りがあります。当社は実際の貨物1,000件を用意し、3つのシステムで処理しました。大手競合他社の分類システム、現在Classify Zonos AI で使用しているモデル、そして新モデルです。すべての貨物を同じ方法で評価しました。

現在Classify Zonos AI で稼働しているモデルは、すでに競合他社よりエラーが33%少ない結果でした。新モデルでは70%少なくなっています。

誤りによって代償の大きさは異なる 

すべての分類エラーが同じコストを伴うわけではありません。靴下が本来の号から1つずれた号に分類された場合、課される関税は通常それほど変わらず、誰も気づきません。しかし、同じ靴下が関税率表のまったく別の類に分類され、実際とは異なる品目として計上されると、関税は大きく異なります。後になって予期せぬ請求につながるのはこうしたエラーであり、当社がモデルを刷新した大きな理由の一つです。

お客様にとっての意味 

• 正しいコードをより高い頻度で。 実際の越境トラフィックで測定した結果、従来モデルと比べてエラーを29.4%削減。
• 情報の少ない商品データに対応。 今回の刷新は短く不完全な説明を対象としています。これは郵便貨物で得られる情報の大半であり、ECカタログにおいても多くの事業者が想定する以上に多く見られます。
• 国境での予期せぬ事態を削減。 誤ったコードが減ることで、誰も予期していなかった関税請求を伴って届く貨物が減ります。
• お客様側での変更は不要。 新モデルはすでに分類を提供しています。現在Classify Zonos AI を呼び出している場合、リクエストと返されるレスポンスはそのままです。統合作業も、有効化する設定もありません。

2週間分の実際の越境トラフィックと、大手競合他社との1,000件の貨物比較に基づいて測定しています。分類精度は、商品カテゴリーや商品説明に含まれる情報量によって異なります。