Le nouveau modèle Classify de Zonos commet 29,4 % d'erreurs de classement en moins

Pourquoi nous avons reconstruit un modèle qui avait déjà une longueur d'avance 

Nos modèles précédents étaient fortement optimisés pour l'ecommerce, et cette optimisation a porté ses fruits.

Ce qui revenait sans cesse, aussi bien du côté de l'ecommerce que du côté postal, c'est le peu d'informations dont nous disposons souvent. Une fiche produit ecommerce peut comporter un titre descriptif, une catégorie et une indication sur la composition de l'article. C'est le cas de beaucoup d'entre elles. Mais beaucoup d'autres se limitent à un nom de marque et à un nom de produit, et une fiche intitulée Summit Ridge Mid ne vous dit pas s'il s'agit d'une chaussure de randonnée, d'un sac à dos ou d'une veste, et encore moins de quoi elle est faite.

C'est dans le secteur postal que la difficulté est la plus grande. Zonos traite la grande majorité de tous les envois postaux entrant aux États-Unis, et un colis y est souvent décrit en deux ou trois mots, saisis sur un formulaire douanier par la personne qui a préparé le carton, sans aucune autre information derrière.

C'est pour cela que nous avons reconstruit le modèle : pour les articles dont la description en dit peu, quel que soit le canal par lequel ils arrivent.

« T-shirt » peut correspondre à plus de 16 codes SH - mais lequel ? 

Imaginons qu'une déclaration indique t-shirt et rien d'autre. Cela peut correspondre à plus de 16 codes SH. Le bon dépend de la matière du t-shirt, de la personne à laquelle sa coupe est destinée et de la façon dont il a été tricoté, et les droits de douane dus varient selon chacune de ces réponses. Le coton et les fibres synthétiques relèvent à eux seuls de sous-positions différentes, avec des taux sensiblement différents.

Multipliez cela par un catalogue entier. Kid-Silk Mohair 25g est le genre de titre que nous voyons toute la journée, et il doit malgré tout aboutir à une seule ligne du tarif douanier.

Ce sont ces cas plus délicats sur lesquels nous nous sommes concentrés cette fois-ci. Les articles bien décrits bénéficient de la même attention, ils sont simplement moins susceptibles de mettre un classificateur en difficulté.

Comment nous l'avons mesuré 

Nous avons évalué le nouveau modèle comme nous voudrions qu'un fournisseur le fasse pour nous : sur du trafic réel, et non sur un jeu de test choisi par nos soins. Nous avons utilisé deux semaines de demandes de classement passées par notre plateforme, c'est-à-dire les titres et descriptions que nos clients envoient réellement, y compris ceux qui ne constituent presque pas une description.

Sur ce trafic, le nouveau modèle commet 29,4 % d'erreurs en moins que le modèle qu'il remplace.

Il s'agit d'un nouveau modèle, et non d'une version réajustée de l'ancien. Nous avons reconstruit le corpus sur lequel il apprend, en l'entraînant à la fois sur des décisions douanières officielles et sur des millions de fiches produits partiellement décrites que notre classificateur voit chaque jour.

Face à un concurrent, sur les mêmes envois 

Comparer un modèle à votre propre ancien modèle n'apporte qu'une vision limitée. Nous avons pris 1 000 envois réels et les avons soumis à trois systèmes : le classificateur d'un concurrent de premier plan, le modèle qu'utilise aujourd'hui Classify Zonos AI et le nouveau modèle. Chaque envoi a été évalué de la même manière.

Le modèle qu'utilise aujourd'hui Classify Zonos AI commettait déjà 33 % d'erreurs en moins que le concurrent. Le nouveau en commet 70 % de moins.

Certaines erreurs coûtent plus cher que d'autres 

Toutes les erreurs de classement n'ont pas le même coût. Si une paire de chaussettes est classée dans une sous-position voisine de celle à laquelle elle appartient, les droits dus sont généralement proches, et personne ne s'en aperçoit. Si ces mêmes chaussettes se retrouvent dans un tout autre chapitre du tarif douanier, déclarées comme quelque chose qu'elles ne sont pas, les droits ne sont plus du tout proches. Ce sont ces erreurs-là qui se transforment plus tard en facture inattendue, et elles expliquent en grande partie pourquoi nous avons reconstruit le modèle.

Ce que cela signifie pour vous 

• Le bon code plus souvent. 29,4 % d'erreurs en moins que le modèle qu'il remplace, mesurées sur du trafic transfrontalier réel.
• Conçu pour des données produit limitées. Nous avons orienté la reconstruction vers les descriptions courtes et incomplètes, qui représentent l'essentiel de ce que fournit un envoi postal et une part plus importante d'un catalogue ecommerce que la plupart des marchands ne l'imaginent.
• Moins de surprises à la frontière. Moins de codes erronés signifie moins d'envois qui arrivent avec une facture de droits de douane que personne n'attendait.
• Rien à changer de votre côté. Le nouveau modèle traite déjà les classements. Si vous appelez Classify Zonos AI aujourd'hui, votre requête et la réponse que vous recevez restent identiques : il n'y a donc aucun travail d'intégration à réaliser ni aucun paramètre à activer.

Résultats mesurés sur deux semaines de trafic transfrontalier réel et sur une comparaison portant sur 1 000 envois face à un concurrent de premier plan. La précision du classement varie selon la catégorie de produit et le niveau de détail de la description de l'article.