BlockBeatsによると、CoinbaseのCEOであるBrian Armstrong氏は6月27日、トークンの使用量が指数関数的に増加する中でAIコストを安定させる鍵は、使用を制限することではなく、より優れたデフォルトモデルとキャッシングメカニズムを利用することだと述べた。CoinbaseはLLMゲートウェイを通じて、GLM 5.2やKimi 2.7などのオープンウェイトモデルをデフォルトに設定しつつ、エンジニアが特定のタスクに適したモデルを選択することも奨励している。同社は、91％の従業員が使用量上限に達したことがないため、割り当てを引き下げるのではなく、低コストのデフォルトモデルに移行したと述べた。
Coinbaseは、キャッシュヒット率に基づいたキャッシュ対応リクエスト処理とスマートモデルルーティングを実装している。例えば、キャッシュ実装の最適化後、LibreChatのキャッシュヒット率は5％から60％に改善した。これらの取り組みにより、Coinbaseはトークン使用量が増加し続ける中で、AI支出をほぼ半分に削減した。
