이미 앞서 있던 모델을 다시 구축한 이유
이전 모델은 이커머스에 맞춰 철저하게 튜닝되었고, 그 튜닝은 효과가 있었습니다.
그런데 이커머스와 우편 양쪽 모두에서 반복적으로 드러난 문제는, 활용할 수 있는 정보가 매우 적은 경우가 많다는 점이었습니다. 이커머스 상품 목록에는 설명이 담긴 제목, 카테고리, 소재에 관한 정보가 함께 제공되기도 합니다. 실제로 그런 경우도 많습니다. 하지만 브랜드명과 상품명만 있는 경우는 그보다 훨씬 더 많으며, Summit Ridge Mid라는 상품명만으로는 그것이 등산화인지, 배낭인지, 재킷인지조차 알 수 없고, 소재는 더더욱 알 수 없습니다.
가장 어려운 것은 우편입니다. Zonos는 미국으로 들어오는 전체 우편 화물의 대다수를 처리하는데, 우편 소포는 상자를 포장한 사람이 세관 신고서에 두세 단어로 적은 설명이 전부이며, 그 밖에 다른 정보는 전혀 없는 경우가 많습니다.
Zonos가 이번에 모델을 새로 구축한 목적이 바로 여기에 있습니다. 어떤 채널을 통해 들어오든, 설명만으로는 많은 것을 알 수 없는 상품입니다.
"T-shirt"는 16개 이상의 HS 코드 중 하나가 될 수 있습니다. 과연 어느 것일까요?
신고서에 t-shirt라고만 적혀 있다고 가정해 보겠습니다. 이는 16개 이상의 HS 코드 중 어느 것이든 될 수 있습니다. 올바른 코드는 셔츠의 소재, 대상 착용자, 편직 방식에 따라 달라지며, 각각의 답에 따라 부과되는 관세도 달라집니다. 면과 인조섬유만 해도 서로 다른 소호로 분류되며 세율에도 상당한 차이가 있습니다.
이를 상품 카탈로그 전체로 확장해 보십시오. Kid-Silk Mohair 25g은 Zonos가 매일 접하는 유형의 상품명이지만, 여전히 관세율표의 한 줄로 정확히 분류되어야 합니다.
이번에 집중한 것은 바로 이렇게 까다로운 상품입니다. 설명이 충분한 상품에도 똑같이 신경을 쓰지만, 이러한 상품은 분류기가 실수할 가능성이 상대적으로 낮습니다.
측정 방법
Zonos는 공급업체에 기대하는 방식 그대로 새 모델을 측정했습니다. 직접 고른 테스트 세트가 아니라 실제 트래픽을 기준으로 했습니다. Zonos 플랫폼을 통해 들어온 2주간의 분류 요청을 사용했으며, 이는 고객이 실제로 보내는 상품명과 설명, 그리고 설명이라고 부르기도 어려운 것까지 모두 포함합니다.
이 트래픽 전반에서 새 모델은 기존 모델보다 오류가 29.4% 적습니다.
이것은 기존 모델을 다시 튜닝한 버전이 아니라 완전히 새로운 모델입니다. 모델이 학습하는 말뭉치를 새로 구성하여, 공식 세관 품목분류 결정 사례와 함께 Zonos 분류기가 매일 접하는 수백만 건의 불완전한 상품 목록으로 학습시켰습니다.
동일한 화물로 경쟁사와 비교
모델을 자사의 이전 모델과 비교하는 것만으로 알 수 있는 것에는 한계가 있습니다. Zonos는 실제 화물 1,000건을 세 가지 시스템, 즉 주요 경쟁사의 분류기, 현재 Classify Zonos AI가 사용하는 모델, 그리고 새 모델에 각각 적용했습니다. 모든 화물은 동일한 방식으로 평가했습니다.
현재 Classify Zonos AI가 사용하는 모델은 이미 경쟁사보다 오류가 33% 적었습니다. 새 모델은 70% 적습니다.
어떤 오류는 더 큰 비용을 초래합니다
모든 분류 오류가 같은 비용을 초래하는 것은 아닙니다. 양말 한 켤레가 올바른 소호에서 한 단계 벗어난 곳으로 분류된다면 부과되는 관세는 대개 비슷하므로 아무도 알아차리지 못합니다. 하지만 같은 양말이 관세율표의 전혀 다른 류로 분류되어 엉뚱한 상품으로 처리된다면, 관세 차이는 결코 작지 않습니다. 바로 이런 오류가 나중에 예상치 못한 청구서로 돌아오며, Zonos가 모델을 새로 구축한 주된 이유 중 하나이기도 합니다.
고객에게 주는 의미
- 더 자주 정확한 코드. 실제 크로스보더 트래픽에서 측정한 결과, 기존 모델보다 오류가 29.4% 적습니다.
- 정보가 부족한 상품 데이터에 최적화. 짧고 불완전한 설명을 목표로 모델을 새로 구축했습니다. 이는 우편 화물이 제공하는 정보의 대부분이며, 대부분의 판매자가 예상하는 것보다 이커머스 카탈로그에서도 더 큰 비중을 차지합니다.
- 국경에서의 예기치 않은 상황 감소. 잘못된 코드가 줄어들면 아무도 예상하지 못한 관세 청구서와 함께 도착하는 화물도 줄어듭니다.
- 고객 측에서 변경할 사항 없음. 새 모델은 이미 분류 서비스를 제공하고 있습니다. 현재 Classify Zonos AI를 호출하고 있다면 요청과 응답은 그대로 유지되므로, 별도의 통합 작업이나 활성화해야 할 설정이 없습니다.
2주간의 실제 크로스보더 트래픽과 주요 경쟁사를 대상으로 한 화물 1,000건 비교를 기준으로 측정했습니다. 분류 정확도는 상품 카테고리와 상품 설명에 포함된 정보의 양에 따라 달라질 수 있습니다.
Zonos의 새 Classify 모델, 분류 오류 29.4% 감소
국경을 넘는 모든 소포에는 HS 코드가 필요하며, 이 코드에 따라 해당 화물에 부과되는 세금과 통관의 원활함이 결정됩니다. Zonos는 16년 넘게 이 문제에 매달려 왔으며, Zonos Classify Zonos AI는 Zonos가 직접 구축한 독자적인 AI 모델로 이 문제를 해결합니다.
Zonos는 범용 모델에 통관용 프롬프트를 덧붙여 사용하는 대신, 직접 확인한 크로스보더 데이터로 모델을 학습시키고 직접 테스트합니다.
이러한 노력 덕분에 Zonos는 앞서 나갈 수 있었습니다. 동일한 화물 1,000건을 기준으로 한 주요 경쟁사의 분류기와 비교했을 때, 현재 Classify Zonos AI가 사용하는 모델은 오류가 33% 적습니다.
그리고 이제 이 모델을 더욱 개선하기 위해 새로 구축했습니다. 2주간의 실제 크로스보더 트래픽에서 새 모델은 기존 모델보다 분류 오류가 29.4% 적습니다. 새 모델은 현재 적용되어 있습니다.