Dlaczego przebudowaliśmy model, który już był na prowadzeniu
Nasze poprzednie modele były mocno dostrojone pod e-commerce i to dostrojenie się sprawdziło.
Zarówno po stronie e-commerce, jak i pocztowej, stale powracał jeden problem: jak niewiele informacji często mamy do dyspozycji. Oferta e-commerce może zawierać opisowy tytuł, kategorię i informację o tym, z czego wykonany jest produkt. Wiele ofert tak wygląda. Jeszcze więcej to jednak tylko nazwa marki i nazwa produktu, a oferta zatytułowana Summit Ridge Mid nie mówi, czy chodzi o but trekkingowy, plecak czy kurtkę, nie wspominając już o tym, z czego jest wykonana.
Najtrudniej jest w przypadku przesyłek pocztowych. Zonos obsługuje zdecydowaną większość wszystkich przesyłek pocztowych trafiających do Stanów Zjednoczonych, a paczka jest tam często opisana dwoma lub trzema słowami, wpisanymi w formularz celny przez osobę, która ją pakowała, i nic więcej za tym nie stoi.
Właśnie z myślą o tym przebudowaliśmy model: o produktach, których opis niewiele mówi, niezależnie od kanału, którym trafiają.
„T-shirt” może oznaczać ponad 16 kodów HS - ale który z nich?
Załóżmy, że w zgłoszeniu widnieje wyłącznie t-shirt. Może to być dowolny z ponad 16 kodów HS. Właściwy zależy od tego, z czego wykonana jest koszulka, dla kogo jest skrojona i w jaki sposób wykonano dzianinę, a wysokość należnego cła zmienia się wraz z każdą z tych odpowiedzi. Już sama bawełna i włókna chemiczne należą do różnych podpozycji o istotnie różnych stawkach.
Pomnóżmy to przez cały katalog. Kid-Silk Mohair 25g to tytuł, jaki widzimy na co dzień, a i tak musi on trafić do jednej pozycji taryfy celnej.
Na tych trudniejszych przypadkach skupiliśmy się w tej rundzie. Dobrze opisane produkty otrzymują tę samą uwagę, po prostu rzadziej sprawiają klasyfikatorowi trudności.
Jak to zmierzyliśmy
Zmierzyliśmy nowy model tak, jak sami chcielibyśmy, aby zrobił to dla nas dostawca: na rzeczywistym ruchu, a nie na wybranym przez nas zestawie testowym. Wykorzystaliśmy dwa tygodnie zapytań o klasyfikację, które przeszły przez naszą platformę, czyli tytuły i opisy, jakie faktycznie przesyłają nasi klienci, w tym te, które trudno w ogóle nazwać opisem.
W tym ruchu nowy model popełnia o 29,4% mniej błędów niż model, który zastępuje.
To nowy model, a nie ponownie dostrojona wersja starego. Przebudowaliśmy korpus, na którym się uczy, trenując go na oficjalnych decyzjach celnych wraz z milionami częściowo opisanych ofert, które nasz klasyfikator widzi każdego dnia.
W porównaniu z konkurentem, na tych samych przesyłkach
Porównanie modelu z własnym starszym modelem ma ograniczoną wartość. Wzięliśmy 1000 rzeczywistych przesyłek i przepuściliśmy je przez trzy systemy: klasyfikator wiodącego konkurenta, model, z którego Classify Zonos AI korzysta obecnie, oraz nowy model. Każda przesyłka została oceniona w ten sam sposób.
Model, z którego Classify Zonos AI korzysta obecnie, już popełniał o 33% mniej błędów niż konkurent. Nowy popełnia ich o 70% mniej.
Niektóre błędy kosztują więcej niż inne
Nie każdy błąd klasyfikacji niesie ze sobą ten sam koszt. Jeśli para skarpet zostanie sklasyfikowana o jedną podpozycję obok właściwej, należne cło jest zwykle zbliżone i nikt tego nie zauważa. Jeśli jednak te same skarpety trafią do zupełnie innego działu taryfy celnej, zaksięgowane jako coś, czym nie są, cło nie jest już ani trochę zbliżone. To właśnie takie błędy zamieniają się później w nieoczekiwany rachunek i są one ważnym powodem, dla którego przebudowaliśmy model.
Co to oznacza dla Ciebie
- Częściej właściwy kod. O 29,4% mniej błędów niż w modelu, który zastępuje, zmierzone na rzeczywistym ruchu cross-border.
- Stworzony z myślą o skąpych danych produktowych. Przebudowę ukierunkowaliśmy na krótkie, niepełne opisy, czyli większość tego, co zawiera przesyłka pocztowa, i większą część katalogu e-commerce, niż spodziewa się większość sprzedawców.
- Mniej niespodzianek na granicy. Mniej błędnych kodów oznacza mniej przesyłek, które docierają z rachunkiem za cło, którego nikt się nie spodziewał.
- Nic nie musisz zmieniać po swojej stronie. Nowy model już obsługuje klasyfikacje. Jeśli korzystasz dziś z Classify Zonos AI, Twoje zapytanie i otrzymywana odpowiedź pozostają takie same, więc nie ma żadnych prac integracyjnych ani ustawień do włączenia.
Zmierzone na dwóch tygodniach rzeczywistego ruchu cross-border oraz w porównaniu 1000 przesyłek z wiodącym konkurentem. Dokładność klasyfikacji różni się w zależności od kategorii produktu i ilości szczegółów zawartych w opisie produktu.
Nowy model Zonos Classify popełnia o 29,4% mniej błędów klasyfikacji
Każda przesyłka przekraczająca granicę potrzebuje kodu HS, a ten kod decyduje o tym, ile należności trzeba za nią zapłacić i jak sprawnie przejdzie przez odprawę. Zonos zajmuje się tym problemem od ponad 16 lat, a Zonos Classify Zonos AI rozwiązuje go za pomocą autorskich modeli AI, które tworzymy samodzielnie.
Trenujemy nasze modele na danych z handlu transgranicznego, które obserwujemy bezpośrednio, i sami je testujemy, zamiast korzystać z modelu ogólnego przeznaczenia z doklejonym promptem celnym.
Dzięki tej pracy utrzymujemy przewagę. W porównaniu z klasyfikatorem wiodącego konkurenta, na tych samych 1000 przesyłek, model, z którego Classify Zonos AI korzysta obecnie, popełnia o 33% mniej błędów.
Teraz przebudowaliśmy go, aby był jeszcze lepszy. W ciągu dwóch tygodni rzeczywistego ruchu cross-border nowy model popełnia o 29,4% mniej błędów klasyfikacji niż model, który zastępuje. Jest już dostępny.