PrismML、Bonsai 27Bをリリース——iPhone上で3.9GBで動作する初の270億パラメータモデル

Decryptによると、PrismMLは7月16日にBonsai 27Bをリリースしました。消費者向けスマートフォンで動作する初の270億パラメータのAIモデルです。このモデルは3.9GBに圧縮され、iPhone 17 Pro Maxで1秒あたり11トークンで動作します。圧縮技術により、モデルの重みが16ビットの浮動小数点精度から三値（正の1または負の1）に削減され、バイナリ版は高精度版に比べて14分の1のサイズになります。

PrismMLのCEOであるBabak Hassibiは、同社が圧縮技術についてAppleと初期の協議を行っていることを確認しました。このモデルはApache 2.0ライセンスで公開されており、次にGemmaを圧縮する計画です。