Gate 新闻消息，4 月 29 日——AI 研究员 Aran Komatsuzaki 通过将 Rich Sutton 的奠基性论文《The Bitter Lesson》翻译成九种语言，并将其交由 OpenAI、Gemini、Qwen、DeepSeek、Kimi 和 Claude 的分词器进行处理，对六个主要 AI 模型的分词效率进行了对比分析。研究以在 OpenAI 上使用英文版本的分词数量作为基准 (1x)，结果显示出显著差异：在 Claude 上处理相同内容需要的代币（tokens）为 1.65 倍，而在 OpenAI 上仅为 1.15 倍。印地语在 Claude 上的结果更为极端，较基准高出超过 3 倍。在所测试的六个模型中，Anthropic 的表现最低。
关键在于，当相同的中文文本在不同模型中进行处理——且都以同一个英文基准来衡量——结果出现了惊人的分歧：Kimi 消耗的代币仅为 0.81 倍 (，甚至比英文还少)；Qwen 为 0.85 倍；而 Claude 需要 1.65 倍。这个差距揭示的是纯粹的分词效率问题，而非语言本身的问题。中文模型在处理中文时展现出更高的效率，这表明差异源于分词器的优化，而不是语言属性。
对用户而言，其实际影响相当可观：代币消耗的增加会直接推高 API 成本，延长模型响应延迟，并更快耗尽上下文窗口。分词效率取决于模型训练数据的语言构成——如果模型主要在英文数据上训练，那么对英文文本的压缩会更高效；而数据代表性较低的语言，则会被分割成更小、效率更低的片段。
Komatsuzaki 的结论强调了一个基础原则：市场规模决定分词效率。更大的市场往往带来更好的优化；而在市场中代表性不足的语言，将面临显著更高的代币成本。
免责声明：本页面信息可能来自第三方，不代表 Gate 的观点或意见。页面显示的内容仅供参考，不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证，对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为，价格波动剧烈，您可能损失全部投资本金。请充分了解相关风险，并根据自身财务状况和风险承受能力谨慎决策。具体内容详见
声明。
相关文章
Freshworks 在以 AI 驱动的重组中裁减 500 个岗位
Freshworks，这家总部位于加州圣马特奥的商业软件公司，于 5 月 5 日宣布，将在重组过程中围绕更广泛地使用 AI 和自动化，裁减其员工 11%，或在全球裁减约 500 个岗位。首席执行官 Dennis Woodside 表示，AI 目前已经编写了该公司一半以上的内容
Crypto Frontier18 分钟前
OpenAI 从今天开始向所有 ChatGPT 用户推出 GPT-5.5 Instant
根据 OpenAI 于 5 月 6 日发布的公告，GPT-5.5 Instant 现已向所有 ChatGPT 用户开放。对于付费用户，GPT-5.3 Instant 将在未来三个月内继续通过模型设置保持可访问，然后将被下线。记忆功能正在向所有 ChatGPT 消费者计划用户逐步推出，直至 on th
GateNews24 分钟前
谷歌测试 Gemini 上的 AI 代理“Remy”，Rivals 开源 OpenClaw
据 Business Insider 称，谷歌正在 5 月 6 日为 Gemini 测试一款名为 Remy 的新 AI 代理。该代理目前仅对谷歌内部 Gemini 应用内的员工开放，它能够在工作、学习和日常任务中代表用户采取行动，同时并与谷歌其他产品/功能整合。
GateNews26 分钟前
Meta 计划推出由 Muse Spark 模型支持的 AI 助手，拟在 5 月 6 日与 OpenClaw 竞争 30 亿用户
据《金融时报》报道，Meta 正在 5 月 6 日构建一款高度个性化的 AI 助手，以与 OpenClaw 竞争，该助手由其全新的 Muse Spark 模型提供支持。该工具将面向公司的超过 30 亿用户，并且目前正在进行内部测试。该助手旨在让用户创建 AI
GateNews26 分钟前
Alphabet 接近 Nvidia 的市值 4.67 万亿美元，今年上涨 24%
据路透社，截至 5 月 6 日，Alphabet 的市值约为 4.67 万亿美元，接近 Nvidia 的 4.79 万亿美元，投资者看好其 AI 战略和更快的云端增长。今年以来，Alphabet 股价上涨 24%，而 Nvidia 上涨 7%。Google Cloud 收入在
GateNews39 分钟前
Cloudflare：AI 代理推动非人类流量，x402 提供解决方案
Cloudflare 首席战略官表示，目前超过一半的互联网流量已非人类，凸显了由 AI 代理和自动化系统驱动的网络使用模式出现重大转变。该高管指出，x402 Foundation 正在建设基础设施以应对这些挑战
Crypto Frontier2小时前
