Coinbase übernimmt chinesische KI-Modelle GLM 5.2 und Kimi 2.7 als Standard für Ingenieure

Coinbase-CEO Brian Armstrong erklärte am letzten Freitag (26.), dass die Kryptobörse die chinesischen Open-Source-KI-Modelle GLM 5.2 und Kimi 2.7 als Standard-Großsprachmodelle für interne Entwickler festgelegt habe. Armstrong berichtete, dass Coinbase die KI-Ausgaben durch Routing-Optimierung und Caching-Verbesserungen um fast die Hälfte gesenkt habe, während die Token-Nutzung exponentiell weiter wächst. Diese Implementierung spiegelt einen breiteren Trend wider, bei dem US-Technologieunternehmen chinesische Open-Source-KI-Modelle leise in ihre Produktionsinfrastruktur integrieren, um Kosten zu senken und Anwendungen zu skalieren.

Coinbase führt dreischichtige Infrastruktur ein, um KI-Kosten zu senken

Armstrong führte die Kostensenkung auf eine Überholung der dreischichtigen Infrastruktur zurück. Die erste Schicht ist „Smart Routing“: Das System verarbeitet Eingabeaufforderungen vor und weist Aufgaben automatisch dem am besten geeigneten und wirtschaftlichsten Modell zu, basierend auf Cache-Trefferquoten und Modellpreisen. Die zweite Schicht ist „Aggressives Caching“: Durch die Anforderung, dass alle Anfragen cache-bewusst sein müssen, wurde die Cache-Trefferquote von LibreChat von 5 % auf 60 % gesteigert. Die dritte Schicht ist „Optimierter Kontext“: Es wird empfohlen, beim Aufgabenwechsel neue Sitzungen zu öffnen und den Dateiumfang zu verkleinern, um verschwendete Token zu reduzieren.

Armstrong betonte, dass es bei dem Ansatz nicht darum gehe, die Nutzung zu unterdrücken, sondern die KI-Einführung zu skalieren. Er beschrieb die Methode als Schlüssel zu einer nachhaltigen Ausweitung der KI-Nutzung und erklärte, jedes Unternehmen könne dieses Modell übernehmen, um Entwicklern die freie Nutzung beliebig vieler Token und Modelle zu ermöglichen, ohne eine Kostenobergrenze zu setzen, während die Nutzung mit den geschäftlichen Auswirkungen verknüpft wird.

Chinesische Open-Source-Modelle übernehmen Routineaufgaben in einer Multi-Modell-Strategie

Die beiden chinesischen Open-Source-Modelle werden hauptsächlich für Routineaufgaben eingesetzt. Für Aufgaben, die eine komplexe Planung erfordern, können Entwickler weiterhin Spitzenmodelle auswählen. Im Code-Review-Prozess wendet Coinbase eine parallele Multi-Modell-Strategie an, bei der verschiedene Modelle die Ausgabeergebnisse gegenseitig verifizieren, um die Qualitätsstandards zu wahren.

Armstrong stellte fest, dass die Kostenvorteile chinesischer Open-Source-Modelle allmählich die KI-Implementierungsstrategien globaler Technologieunternehmen verändern, da die Kosten für führende US-Modelldienste weiter steigen.

FAQ

Was gab Coinbase am letzten Freitag (26.) bezüglich KI-Modellen bekannt?
Coinbase-CEO Brian Armstrong gab bekannt, dass das Unternehmen die chinesischen Open-Source-KI-Modelle GLM 5.2 und Kimi 2.7 als Standard-Großsprachmodelle für interne Entwickler festgelegt hat. Armstrong erklärte, dass diese Änderung zusammen mit Routing-Optimierung und Caching-Verbesserungen die KI-Ausgaben um fast die Hälfte gesenkt habe, während die Token-Nutzung exponentiell weiter wächst.

Wie setzt Coinbase die chinesischen KI-Modelle in seinem Betrieb ein?
Coinbase setzt GLM 5.2 und Kimi 2.7 hauptsächlich für Routineaufgaben ein, während Entwickler für komplexe Planungsaufgaben weiterhin Spitzenmodelle wählen können. Beim Code-Review verwendet das Unternehmen eine parallele Multi-Modell-Strategie, bei der verschiedene Modelle die Ausgabeergebnisse gegenseitig verifizieren, um die Qualitätsstandards zu wahren.