PrismML lanza Bonsai 27B, el primer modelo de IA 27B comprimido a 3,9 GB para iPhone

Según PrismML, la empresa lanzó Bonsai 27B, un modelo de IA con 27 mil millones de parámetros, comprimido a 3,9 GB, a principios de esta semana. Es lo bastante pequeño como para ejecutarse en un iPhone 17 Pro Max a 11 tokens por segundo. La variante ternaria conserva el 94,6% del rendimiento de los puntos de referencia con precisión completa, superando a las construcciones convencionales de Qwen de bajo bit, que son casi el doble de grandes y fallan en tareas de matemáticas y programación. La variante binaria alcanza 1,125 bits por peso al cuantizar los parámetros del modelo a signos binarios simples con factores de escala compartidos.

Apple está en conversaciones iniciales con PrismML sobre la tecnología de compresión, según CNBC. El CEO de PrismML, Babak Hassibi, confirmó que la empresa está evaluando la tecnología para un posible uso en dispositivos. El siguiente paso en la hoja de ruta es un modelo Gemma comprimido, seguido de modelos frontier más grandes; Bonsai 27B de 1 bit está disponible para descarga gratuita bajo Apache 2.0.