PrismML 发布 Bonsai 27B:首个 27B AI 模型已压缩至 3.9 GB,供 iPhone 使用

据 PrismML 称,该公司本周早些时候发布了 Bonsai 27B,这是一款 270 亿参数的 AI 模型,压缩后仅有 3.9 GB。它小到可以在 iPhone 17 Pro Max 上以每秒 11 个 token 的速度运行。三元变体在数学与编码任务上,保留了全精度基准性能的 94.6%,并且超越了体积几乎翻倍的传统低比特 Qwen 构建;后者会在数学与编码任务中出现严重问题(“暴雷”)。二元变体通过将模型参数量化为带共享缩放因子的单一二进制符号,实现了每个权重 1.125 比特的精度。

据 CNBC 报道,Apple 正在与 PrismML 就这项压缩技术进行早期洽谈。PrismML CEO Babak Hassibi 证实,该公司正在评估该技术以用于潜在的端侧(on-device)场景。下一步路线图将先推出一款压缩版 Gemma 模型,然后是更大的前沿模型;1-bit Bonsai 27B 可在 Apache 2.0 下免费下载安装。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明
评论
0/400
暂无评论