Зачем мы перестроили модель, которая и так была впереди
Наши предыдущие модели были тщательно настроены для электронной коммерции, и эта настройка себя оправдала.
Но и в электронной коммерции, и в почтовых отправлениях постоянно проявлялось одно и то же: зачастую у нас очень мало исходных данных. Карточка товара в интернет-магазине может содержать подробное название, категорию и сведения о материале изделия. Многие так и выглядят. Но ещё больше карточек состоят лишь из названия бренда и названия продукта, и по карточке Summit Ridge Mid невозможно понять, туристический ли это ботинок, рюкзак или куртка, не говоря уже о том, из чего изделие сделано.
Сложнее всего с почтовыми отправлениями. Zonos обрабатывает подавляющее большинство всех почтовых отправлений, ввозимых в США, и такая посылка часто описана двумя-тремя словами, которые вписал в таможенную декларацию тот, кто упаковывал коробку, — и больше за этим описанием ничего нет.
Именно для этого мы и перестроили модель: для товаров, описание которых мало что говорит, по какому бы каналу они ни поступали.
«Футболке» может соответствовать более 16 HS-кодов — но какой из них верный?
Допустим, в декларации указано t-shirt и больше ничего. Это может быть любой из более чем 16 HS-кодов. Правильный зависит от того, из чего сделана футболка, для кого она скроена и каким способом связано полотно, и размер пошлины меняется с каждым из этих ответов. Уже одни только хлопок и химические волокна относятся к разным субпозициям с существенно различающимися ставками.
А теперь умножьте это на весь каталог. Kid-Silk Mohair 25g — типичное название, которое мы видим постоянно, и его всё равно нужно отнести к одной строке таможенного тарифа.
В этот раз мы сосредоточились именно на таких сложных случаях. Хорошо описанные товары получают не меньше внимания, просто на них классификатор ошибается реже.
Как мы проводили измерения
Мы оценивали новую модель так, как хотели бы, чтобы поставщик оценивал её для нас: на реальном трафике, а не на тестовом наборе, выбранном нами самими. Мы использовали запросы на классификацию, поступившие через нашу платформу за две недели, то есть те названия и описания, которые действительно присылают наши клиенты, включая те, что едва ли можно назвать описанием.
На этом трафике новая модель допускает на 29,4% меньше ошибок, чем модель, которую она заменяет.
Это новая модель, а не перенастроенная версия старой. Мы заново сформировали корпус данных, на котором она обучается, используя официальные таможенные решения наряду с миллионами частично описанных карточек товаров, которые наш классификатор видит каждый день.
Сравнение с конкурентом на одних и тех же отправлениях
Сравнение модели с собственной предыдущей версией даёт лишь ограниченное представление. Мы взяли 1000 реальных отправлений и прогнали их через три системы: классификатор ведущего конкурента, модель, которую Classify Zonos AI использует сегодня, и новую модель. Каждое отправление оценивалось одинаково.
Модель, которую Classify Zonos AI использует сегодня, уже допускала на 33% меньше ошибок, чем конкурент. Новая допускает на 70% меньше.
Одни ошибки обходятся дороже других
Не каждая ошибка классификации стоит одинаково. Если пару носков отнести к соседней субпозиции, причитающаяся пошлина обычно почти не отличается, и никто этого не замечает. Если же те же носки окажутся совсем в другой группе таможенного тарифа и будут оформлены как нечто, чем они не являются, пошлина будет совершенно иной. Именно такие ошибки впоследствии оборачиваются неожиданными счетами, и во многом из-за них мы перестроили модель.
Что это значит для вас
- Правильный код чаще. На 29,4% меньше ошибок, чем у модели, которую она заменяет, по результатам измерений на реальном трансграничном трафике.
- Создана для скудных данных о товарах. Мы нацелили перестройку на короткие, неполные описания — а это большая часть того, что содержит почтовое отправление, и большая доля каталога интернет-магазина, чем ожидает большинство продавцов.
- Меньше сюрпризов на границе. Меньше неверных кодов — значит меньше отправлений, по прибытии которых выставляется неожиданный счёт за пошлину.
- С вашей стороны ничего менять не нужно. Новая модель уже выполняет классификацию. Если вы сегодня обращаетесь к Classify Zonos AI, ваш запрос и получаемый ответ остаются прежними, поэтому не требуется ни работы по интеграции, ни включения каких-либо настроек.
Измерения проводились на двухнедельном объёме реального трансграничного трафика и в ходе сравнения с ведущим конкурентом на 1000 отправлениях. Точность классификации зависит от категории товара и от степени детализации его описания.
Новая модель Zonos Classify допускает на 29,4% меньше ошибок классификации
Каждой посылке, пересекающей границу, нужен код ТН ВЭД (HS-код), и именно он определяет, какие платежи причитаются за отправление и насколько гладко оно пройдёт таможню. Zonos работает над этой задачей более 16 лет, и Zonos Classify Zonos AI решает её с помощью собственных моделей искусственного интеллекта, которые мы разрабатываем сами.
Мы обучаем наши модели на трансграничных данных, которые видим из первых рук, и сами их тестируем, а не используем универсальную модель с прикрученным к ней таможенным промптом.
Именно эта работа позволяет нам оставаться впереди. По сравнению с классификатором ведущего конкурента на одних и тех же 1000 отправлениях модель, которую Classify Zonos AI использует сегодня, допускает на 33% меньше ошибок.
Теперь мы перестроили её, чтобы сделать ещё лучше. На двухнедельном объёме реального трансграничного трафика новая модель допускает на 29,4% меньше ошибок классификации, чем модель, которую она заменяет. Она уже работает.