ほとんどのEコマースプラットフォームは、大きな技術的課題について語っています：スケールの検索、リアルタイム在庫、パーソナライズされたおすすめ。しかし、ほとんどの小売業者を悩ませる隠れた問題があります：属性値の一貫性です。これらは表面的には重要でないように見えますが、商品発見、フィルタリング、比較、検索の関連性の基盤となっています。実際の商品カタログでは状態は混沌としています。サイズ表記は「XL」「Small」「12cm」「Large」などバラバラです。色は「RAL 3020」「Crimson」「Red」「Dark Red」など混在しています。これらの不一致を何百万ものSKUと、各商品に数十の属性を掛け合わせると、システムは使い物にならなくなります。フィルタは予測不能に動き、検索エンジンの品質は低下し、顧客はナビゲーションにイライラします。## 大規模な問題Zoroのフルスタックエンジニアとして、私はまさにこの課題に直面しました：これらの属性を管理するだけでなく、知的に構造化するシステムを構築すること。目標はシンプルですが、実行は複雑です：3百万以上のSKUに対して、一貫性のある追跡可能な属性値を提供すること。課題：すべてのカテゴリに対して手動ルールをコーディングできません。考えることができ、かつ制御可能な何かが必要です。そこでAIの出番です—ブラックボックス解ではなく、決定論的ロジックのパートナーとして。## ハイブリッド戦略：AIとガイドラインの融合私のアプローチは従来と全く異なります：LLMの知能と明確なルール、取引制御を結びつけたハイブリッドパイプラインです。結果は：説明可能、予測可能、スケーラブル、人間が制御できるもの。このシステムは属性をリアルタイムではなく、オフラインのバックグラウンドジョブで処理します。これは妥協のように見えますが、意図的なアーキテクチャの決定であり、多くの利点があります。- **高スループット**：膨大なデータを処理しつつ、ライブシステムに負荷をかけない- **信頼性**：障害は顧客のアクセスに影響しない- **コスト効率**：負荷の少ない時間帯に計算- **隔離性**：LLMの遅延は商品ページに影響しない- **一貫性**：アップデートは原子性かつ予測可能リアルタイム処理は予測不能な遅延やコスト増、脆弱な依存関係を招きます。オフラインジョブは効率性、非同期のAI呼び出し、人間によるレビューのポイントを提供します。## 準備：知能の前にクレンジングLLMが属性を見る前に、次のクレンジングステップを行います。- 空白の除去- 空値の削除- 重複の除去- カテゴリコンテキストを構造化された文字列に変換これにより、LLMはクリーンで明確な入力を受け取ります。ゴミを入れればゴミが出る—この規模では小さな誤りも大きな問題に。クレンジングはすべての基礎です。## AIサービス：コンテキストを持った思考このAIサービスは、生の値だけでなく、次の情報も受け取ります。- クリーンな属性値- カテゴリのパンくずリスト- 属性のメタデータこのコンテキストにより、モデルは「電動工具の“Spannung”は数値」「衣料の“Size”は既知の進行をたどる」「色はRAL規格を尊重する可能性がある」などを理解します。モデルは返す：整列された値、洗練された属性名、決定論的またはコンテキストに基づくソートが必要かどうかの判断。これにより、パイプラインはさまざまな属性タイプを扱えるようになり、カテゴリごとに新たなルールをコーディングする必要がなくなります。## インテリジェントなフォールバック：すべてにAIは不要すべての属性にAIは必要ありません。数値範囲、単位ベースの値、単純な量は決定論的ロジックの方が適しています。- 処理速度の向上- 予測可能なソート- コスト削減- 曖昧さの排除パイプラインはこれらのケースを自動的に認識し、ルールを使います。これにより、システムの効率性を維持し、不必要なモデル呼び出しを避けます。## 販売者がコントロールを保持各カテゴリは次のようにタグ付け可能です。- **LLM_SORT**：モデルに決定させる- **MANUAL_SORT**：販売者が手動で順序を定義この二重システムにより、真の人間のコントロールが可能になります。AIが仕事をこなし、人間が最終決定を下す。これにより信頼性が高まり、販売者はモデルを上書きでき、パイプラインを中断しません。## 永続化と同期すべての結果はMongoDBの商品データベースに格納されます—これが中心的な神経系です。- ソート済み属性- 洗練された属性名- カテゴリごとのソートタグ- 商品ごとのsortOrderフィールドそこから、アウトバウンドジョブがデータを同期します。- **Elasticsearch**：キーワード検索用- **Vespa**：セマンティック・ベクトル検索用フィルタは論理的な順序で現れ、商品ページは一貫した属性を表示し、検索エンジンは商品をより正確にランク付けします。## 混沌から秩序へ：変革の実例以下はシステムの実践的な力を示す例です。| 属性 | 生の入力 | ソート済み出力 ||----------|----------|----------|| サイズ | XL, Small, 12cm, Large, M, S | Small, M, Large, XL, 12cm || 色 | RAL 3020, Crimson, Red, Dark Red | Red, Dark Red, Crimson, Red (RAL 3020) || 素材 | Steel, Carbon Steel, Stainless, Stainless Steel | Steel, Stainless Steel, Carbon Steel || 数値 | 5cm, 12cm, 2cm, 20cm | 2cm, 5cm, 12cm, 20cm |混沌とした入力から論理的で一貫したシーケンスが生まれます。## アーキテクチャの流れ全パイプラインは次の流れです。1. 商品データはPIMシステムから流入2. 抽出ジョブが属性とカテゴリのコンテキストを収集3. AIソートサービスがこれをインテリジェントに処理4. MongoDBに結果を保存5. アウトバウンドジョブがPIMに同期6. ElasticsearchとVespaの同期ジョブが検索システムに配信7. APIサービスが検索と顧客ページを連携この流れにより、属性値が失われることはありません—AIでソートされても手動設定でも、すべてに反映されます。## なぜリアルタイムでないのか？リアルタイムパイプラインは魅力的に見えますが、次の問題を引き起こします。- 予測不能な遅延- 高いピーク負荷- 脆弱な依存関係- 運用の複雑さオフラインジョブはスループット効率、エラー耐性、予測可能なコストをもたらします。小さな欠点は、データ取得から表示までにわずかな遅延があることですが、大きな利点はスケールにおいて顧客が本当に評価する一貫性です。## 影響と成果このシステムは測定可能な結果をもたらします。- 3M+ SKUにわたる一貫したソート- ルールによる予測可能な数値属性- 販売者によるコントロールメカニズム- よりきれいな商品ページ、直感的なフィルタ- 検索の関連性向上とコンバージョン増- 顧客の信頼感向上これは単なる技術的勝利以上のもので、ユーザーエクスペリエンスと売上も向上させました。## 重要なポイント- **ハイブリッドが純粋なAIに勝る**：スケールではガイドラインが必要- **コンテキストが王様**：適切な環境がLLMの精度を劇的に向上させる- **オフラインが新しいオンライン**：スループットと信頼性のために、リアルタイムではなく- **人間がコントロールを保持**：上書きメカニズムが真の信頼を築く- **クリーンな入力が基本**：Garbage In, Garbage Out—まずはクレンジング## 結論属性値のソートは簡単に思えますが、何百万もの商品を扱うと本当の課題になります。LLMの知能と明確なルール、取引制御を組み合わせることで、隠れた問題をクリーンでスケーラブルなシステムに変えました。これがハイブリッドアプローチの力です：人と機械の最良を結びつける。時には、最も退屈な問題—見落としやすい問題—の解決から最大の成功が生まれるのです。それは、どの商品ページにも現れる、見落としやすい問題の解決です。
AIを活用したEコマースにおける属性管理：何百万もの商品データを調和させる方法
ほとんどのEコマースプラットフォームは、大きな技術的課題について語っています：スケールの検索、リアルタイム在庫、パーソナライズされたおすすめ。しかし、ほとんどの小売業者を悩ませる隠れた問題があります：属性値の一貫性です。これらは表面的には重要でないように見えますが、商品発見、フィルタリング、比較、検索の関連性の基盤となっています。
実際の商品カタログでは状態は混沌としています。サイズ表記は「XL」「Small」「12cm」「Large」などバラバラです。色は「RAL 3020」「Crimson」「Red」「Dark Red」など混在しています。これらの不一致を何百万ものSKUと、各商品に数十の属性を掛け合わせると、システムは使い物にならなくなります。フィルタは予測不能に動き、検索エンジンの品質は低下し、顧客はナビゲーションにイライラします。
大規模な問題
Zoroのフルスタックエンジニアとして、私はまさにこの課題に直面しました：これらの属性を管理するだけでなく、知的に構造化するシステムを構築すること。目標はシンプルですが、実行は複雑です：3百万以上のSKUに対して、一貫性のある追跡可能な属性値を提供すること。
課題：すべてのカテゴリに対して手動ルールをコーディングできません。考えることができ、かつ制御可能な何かが必要です。そこでAIの出番です—ブラックボックス解ではなく、決定論的ロジックのパートナーとして。
ハイブリッド戦略：AIとガイドラインの融合
私のアプローチは従来と全く異なります：LLMの知能と明確なルール、取引制御を結びつけたハイブリッドパイプラインです。結果は：説明可能、予測可能、スケーラブル、人間が制御できるもの。
このシステムは属性をリアルタイムではなく、オフラインのバックグラウンドジョブで処理します。これは妥協のように見えますが、意図的なアーキテクチャの決定であり、多くの利点があります。
リアルタイム処理は予測不能な遅延やコスト増、脆弱な依存関係を招きます。オフラインジョブは効率性、非同期のAI呼び出し、人間によるレビューのポイントを提供します。
準備：知能の前にクレンジング
LLMが属性を見る前に、次のクレンジングステップを行います。
これにより、LLMはクリーンで明確な入力を受け取ります。ゴミを入れればゴミが出る—この規模では小さな誤りも大きな問題に。クレンジングはすべての基礎です。
AIサービス：コンテキストを持った思考
このAIサービスは、生の値だけでなく、次の情報も受け取ります。
このコンテキストにより、モデルは「電動工具の“Spannung”は数値」「衣料の“Size”は既知の進行をたどる」「色はRAL規格を尊重する可能性がある」などを理解します。モデルは返す：整列された値、洗練された属性名、決定論的またはコンテキストに基づくソートが必要かどうかの判断。
これにより、パイプラインはさまざまな属性タイプを扱えるようになり、カテゴリごとに新たなルールをコーディングする必要がなくなります。
インテリジェントなフォールバック：すべてにAIは不要
すべての属性にAIは必要ありません。数値範囲、単位ベースの値、単純な量は決定論的ロジックの方が適しています。
パイプラインはこれらのケースを自動的に認識し、ルールを使います。これにより、システムの効率性を維持し、不必要なモデル呼び出しを避けます。
販売者がコントロールを保持
各カテゴリは次のようにタグ付け可能です。
この二重システムにより、真の人間のコントロールが可能になります。AIが仕事をこなし、人間が最終決定を下す。これにより信頼性が高まり、販売者はモデルを上書きでき、パイプラインを中断しません。
永続化と同期
すべての結果はMongoDBの商品データベースに格納されます—これが中心的な神経系です。
そこから、アウトバウンドジョブがデータを同期します。
フィルタは論理的な順序で現れ、商品ページは一貫した属性を表示し、検索エンジンは商品をより正確にランク付けします。
混沌から秩序へ：変革の実例
以下はシステムの実践的な力を示す例です。
混沌とした入力から論理的で一貫したシーケンスが生まれます。
アーキテクチャの流れ
全パイプラインは次の流れです。
この流れにより、属性値が失われることはありません—AIでソートされても手動設定でも、すべてに反映されます。
なぜリアルタイムでないのか？
リアルタイムパイプラインは魅力的に見えますが、次の問題を引き起こします。
オフラインジョブはスループット効率、エラー耐性、予測可能なコストをもたらします。小さな欠点は、データ取得から表示までにわずかな遅延があることですが、大きな利点はスケールにおいて顧客が本当に評価する一貫性です。
影響と成果
このシステムは測定可能な結果をもたらします。
これは単なる技術的勝利以上のもので、ユーザーエクスペリエンスと売上も向上させました。
重要なポイント
結論
属性値のソートは簡単に思えますが、何百万もの商品を扱うと本当の課題になります。LLMの知能と明確なルール、取引制御を組み合わせることで、隠れた問題をクリーンでスケーラブルなシステムに変えました。
これがハイブリッドアプローチの力です：人と機械の最良を結びつける。時には、最も退屈な問題—見落としやすい問題—の解決から最大の成功が生まれるのです。それは、どの商品ページにも現れる、見落としやすい問題の解決です。