Массовая электронная коммерция: как инженер-программист сортирует миллионы хаотичных атрибутов продуктов

Большинство дебатов о масштабировании электронной коммерции вращаются вокруг сексуальных тем: распределённые поисковые системы, управление запасами в реальном времени, алгоритмы рекомендаций. Но за этим скрывается проблема, которая тише, но упорнее: управление атрибутами. Это технический шум, присутствующий в каждом крупном онлайн-магазине.

Тихая проблема: почему значения атрибутов всё усложняют

Атрибуты продукта фундаментальны для опыта покупателя. Они управляют фильтрами, сравнениями и поисковым ранжированием. В теории это просто. На практике же: исходные значения хаотичны.

Простое значение может выглядеть так: “XL”, “Small”, “12cm”, “Large”, “M”, “S”. Цвета? “RAL 3020”, “Crimson”, “Red”, “Dark Red”. Материал? “Steel”, “Carbon Steel”, “Stainless”, “Stainless Steel”.

Рассмотренные отдельно, эти несогласованности кажутся безобидными. Но умножьте их на 3 миллиона SKU, каждый с десятками атрибутов — проблема становится системной. Фильтры ведут себя непредсказуемо. Поисковые системы теряют релевантность. Клиенты сталкиваются с медленными, разочаровывающими поисками. А в бэкенде команды застревают в ручной очистке данных.

Инженер-программист в Zoro столкнулся именно с этой проблемой: задачей, которую легко было пропустить, но которая влияла на каждую страницу товара.

Путь к интеллектуальной автоматизации без потери контроля

Первый принцип был ясен: не использовать чёрные ящики ИИ. Такие системы трудно доверять, отлаживать или масштабировать.

Вместо этого разработали гибкую пайплайн-систему, которая:

• остаётся объяснимой
• работает предсказуемо
• действительно масштабируется
• управляется человеком

Результат сочетал контекстное мышление современных языковых моделей с фиксированными правилами и контролями. ИИ с ограничениями, а не выходящий из-под контроля.

Обзор архитектуры: как всё связано

Вся обработка выполняется в офлайн-заданиях, а не в реальном времени. Это не компромисс — это архитектурная необходимость.

Реалтайм-пайплайны кажутся привлекательными, но приводят к:

• непредсказуемой задержке
• хрупким зависимостям
• дорогим пиковым нагрузкам
• операционной уязвимости

Офлайн-обработка обеспечивает:

• высокий пропуск: огромные объёмы данных без влияния на живую систему
• устойчивость: ошибки никогда не влияют на трафик
• контроль затрат: планирование вычислений в менее загруженное время
• изоляцию: задержка языковых моделей никогда не мешает страницам товаров
• согласованность: обновления атомарны и предсказуемы

Архитектура работает так:

1. Данные о товаре поступают из PIM-системы
2. Экстракционный задание извлекает исходные значения и контекст
3. Они отправляются в сервис сортировки на базе ИИ
4. Обновлённые документы сохраняются в MongoDB
5. Внешняя синхронизация обновляет исходную систему
6. Elasticsearch и Vespa синхронизируют отсортированные данные
7. API связывают всё с интерфейсом клиента

Четыре слоя решения

Слой 1: подготовка данных

Перед применением интеллекта происходит этап предварительной обработки. Удаление пробелов. Удаление дубликатов. Контекстуализация категорийных хлебных крошек в структурированные строки. Удаление пустых записей.

Это кажется простым, но значительно повышает эффективность ИИ. Мусор — мусор. В таком масштабе небольшие ошибки могут привести к большим проблемам.

Слой 2: интеллектуальная сортировка с контекстом

Языковая модель — не просто сортировщик. Она думает о значениях.

Сервис получает:

• очищенные атрибуты
• метаданные категории
• определения атрибутов

С этим контекстом модель понимает:

• что “напряжение” в электроинструментах должно быть числовым
• что “размер” в одежде следует известной прогрессии
• что “цвет” может соответствовать стандартам RAL
• что “материал” имеет семантические связи

Модель возвращает:

• упорядоченные значения в логическом порядке
• уточнённые имена атрибутов
• решение: детерминированная или контекстуальная сортировка

Слой 3: детерминированные резервные механизмы

Не все атрибуты требуют интеллекта. Числовые диапазоны, значения с единицами измерения и простые множества выигрывают от:

• быстрой обработки
• предсказуемого результата
• меньших затрат
• отсутствия неоднозначности

Пайплайн автоматически распознаёт такие случаи и использует детерминированную логику. Это делает систему эффективной и избегает лишних вызовов LLM.

Слой 4: ручное переопределение

Каждая категория может быть помечена как:

• LLM_SORT: модель решает
• MANUAL_SORT: человек определяет порядок

Эта двойная система позволяет людям принимать окончательные решения, а интеллект — выполнять большую часть работы. Также это повышает доверие — продавцы могут в любой момент переопределить модель.

От хаоса к ясности: практические результаты

Пайплайн преобразовал хаотичные исходные данные:

Эти примеры показывают, как сочетается понимание контекста с ясными правилами.

Постоянство и контроль всей цепочки

Все результаты сохранялись прямо в MongoDB для товаров. MongoDB стала единственным источником для:

• отсортированных атрибутов
• уточнённых имён
• категорийных тегов сортировки
• индивидуальных порядков

Это облегчало проверки, переопределения, переработку категорий и синхронизацию с другими системами.

После сортировки значения попадали в:

• Elasticsearch для поиска по ключевым словам
• Vespa для семантического и векторного поиска

Это обеспечивало логичное отображение фильтров, согласованные атрибуты на страницах товаров и более точное ранжирование в поиске.

Почему не использовать просто в реальном времени?

Обработка в реальном времени означала бы:

• непредсказуемую задержку при живых запросах
• повышенные вычислительные затраты
• хрупкие зависимости между системами
• операционную сложность и возможные ошибки при трафике

Офлайн-задания обеспечивали:

• эффективность при работе с миллионами товаров
• асинхронные вызовы LLM без влияния на живую работу
• надёжную логику повторений
• окно для ручной проверки
• предсказуемые вычислительные результаты

Компромисс — небольшая задержка между получением данных и отображением. Но преимущество — согласованность в масштабах, что ценят клиенты гораздо больше.

Измеримые результаты

Решение обеспечило:

• согласованную сортировку атрибутов для более чем 3 миллионов SKU
• предсказуемый числовой порядок благодаря детерминированным резервам
• бизнес-контроль через ручное тегирование
• более чистые страницы товаров и интуитивные фильтры
• улучшенную релевантность и ранжирование поиска
• повышенное доверие клиентов и лучшие показатели конверсии

Это был не только технический успех — это победа в пользовательском опыте и бизнес-результатах.

Главные выводы для инженеров-программистов в сфере электронной коммерции

• Гибкие пайплайны превосходят чистый ИИ в масштабах. Интеллектуальность нуждается в ограничениях.
• Контекст значительно повышает точность языковых моделей.
• Офлайн-задания необходимы для пропускной способности и устойчивости.
• Механизмы ручного переопределения создают доверие и принятие.
• Чистые входные данные — основа надёжных выходных.

Итог

Сортировка значений атрибутов кажется простой задачей. Но при миллионах товаров это становится настоящим вызовом.

Комбинируя интеллектуальность языковых моделей с ясными правилами, пониманием контекста и человеческим контролем, удалось превратить сложную скрытую проблему в чистую, масштабируемую систему.

Это напоминание о том, что некоторые из самых больших успехов достигаются решением скучных задач — тех, что легко пропустить, но которые встречаются на каждой странице товара.