ゲートニュース、4月29日 — AI研究者の嵐 小松崎（Aran Komatsuzaki）が、リッチ・サットンの先駆的論文『The Bitter Lesson』を9つの言語に翻訳し、それらをOpenAI、Gemini、Qwen、DeepSeek、Kimi、そしてClaudeのトークナイザーで処理して、6つの主要なAIモデル間でトークン化効率を比較分析を行いました。OpenAIにおける英語版のトークン数をベースラインとして (1x) としたところ、この研究では大きな差異が明らかになりました。中国語で同じコンテンツを処理すると、OpenAIの1.15xに対してClaudeでは1.65xのトークンが必要でした。ヒンディー語はClaudeでさらに極端な結果となり、ベースラインを3倍以上上回りました。Anthropicは、試験した6モデルの中で最も低い順位でした。
重要なのは、同一の中国語テキストを異なるモデル間で処理したとき（すべて同じ英語ベースラインに対して測定）結果が劇的に分岐したことです。Kimiは英語より (さらに少ない) 0.81xのトークン消費にとどまり、Qwenは0.85xでしたが、Claudeは1.65xが必要でした。このギャップは、言語そのものではなく純粋なトークン化効率の問題を示しています。中国語モデルは中国語の処理でより高い効率を示しており、その差は言語自体ではなくトークナイザーの最適化に起因する可能性を示唆しています。
ユーザーにとっての実務的な影響は大きく、トークン消費の増加はAPIコストを直接押し上げ、モデルの応答遅延を延ばし、コンテキストウィンドウをより急速に消耗させます。トークン化効率は、モデルの学習データの言語構成に依存します。英語が主に学習されたモデルは英語テキストをより効率よく圧縮しますが、データ表現が少ない言語は、より小さく効率の悪い断片としてトークン化されます。
小松崎（Komatsuzaki）の結論は、根本的な原則を裏付けています。市場規模がトークン化効率を決定するのです。より大きな市場はより良い最適化を受けられ、十分に表現されていない言語はトークンコストが大幅に高くなります。
免責事項：このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は
免責事項をご参照ください。
関連記事
パランティアが第1四半期売上を85%急増して16330億ドルに到達、ルール・オブ・40スコアが145%に到達
Palantirの2026年第1四半期の決算報告によると、データ分析およびAIソフトウェア企業の第1四半期の売上高は16.33億ドル（=1.6330 billion）に達し、前年同期比で85%増加しました。これは、過去最高の成長率となるものです。同社の「ルール・オブ・40スコア」（成長と収益性を合わせて測る指標）は、
GateNews16分前
メタはモルガン・スタンレーとJPMorganが主導し、テキサスのAIデータセンター向けに130億ドルの資金調達を目指す
Beatingによると、Metaはテキサス州の人工知能データセンター向けに、Morgan StanleyとJPMorganが主導する形で、約130億ドル（約13 billionドル）の資金調達を目指している。関係者によれば、資金調達の構成は主に負債で、残りは株式となる予定で、people familiar wi
GateNews32分前
Lattice Semiconductorは5月4日、16.5億ドルでAMIを買収し、AIインフラストラクチャソフトウェアへ進出する
ロイターによると、Lattice Semiconductorは5月4日、ファームウェアおよびインフラソフトウェア企業であるAMIを16.5億ドルで買収すると発表した。同社はAIシステム管理とクラウド基盤への取り組みを深めるとしている。
AMIはBIOSファームウェアとBaseboard Management Controller（BMC）ソフトウェアを専門としている
GateNews44分前
香港の研究所が2026年上半期に中国のチップでHKGAI-V3 AIモデルをローンチ
サウスチャイナ・モーニング・ポストによると、香港生成AI研究開発センターは、2026年上半期にHKGAI-V3モデルをリリースする計画で、ファーウェイのAscend 910Cを含む中国製チップ上で動作できるようシステムが最適化される予定です。このモデルはDeepSeek V4のアーキテクチャに基づいており
GateNews54分前
AlphaDrive は $100M のイスラエル AI およびサイバーセキュリティ基金を立ち上げます
カレカリストによると、イスラエルのエルロン・ベンチャーズの元幹部であるヤロン・エラド氏とエリク・エツィオン氏は、サイバーセキュリティと人工知能に注力する総額US$100 millionのファンド「AlphaDrive」を立ち上げた。
ファンドの構成と投資方針
AlphaDriveはイスラエルで設立されたスタートアップを対象としている
CryptoFrontier1時間前
OpenAIのセールス責任者ジェームズ・ダイエットが、Thrive Capitalにオペレーター・イン・レジデンスとして加わりました
Beatingによると、OpenAIのシニアセールス責任者ジェームズ・ダイエット氏が、最近Thrive CapitalにOperator in Residenceとして参加するために退任すると発表しました。2023年のChatGPTブームの最中にOpenAIに入社したダイエット氏は、退任の理由として、スタートアップの初期段階での企業づくりのフェーズを好むことを挙げました。彼はt
GateNews1時間前
