据 PrismML 称,该公司本周早些时候发布了 Bonsai 27B,这是一款 270 亿参数的 AI 模型,压缩后仅有 3.9 GB。它小到可以在 iPhone 17 Pro Max 上以每秒 11 个 token 的速度运行。三元变体在数学与编码任务上,保留了全精度基准性能的 94.6%,并且超越了体积几乎翻倍的传统低比特 Qwen 构建;后者会在数学与编码任务中出现严重问题(“暴雷”)。二元变体通过将模型参数量化为带共享缩放因子的单一二进制符号,实现了每个权重 1.125 比特的精度。
据 CNBC 报道,Apple 正在与 PrismML 就这项压缩技术进行早期洽谈。PrismML CEO Babak Hassibi 证实,该公司正在评估该技术以用于潜在的端侧(on-device)场景。下一步路线图将先推出一款压缩版 Gemma 模型,然后是更大的前沿模型;1-bit Bonsai 27B 可在 Apache 2.0 下免费下载安装。