PrismML lança Bonsai 27B: um modelo de IA de 3,9 GB é executado no iPhone

A PrismML lançou o Bonsai 27B mais cedo esta semana: um modelo de IA com 27 mil milhões de parâmetros comprimido para 3,9 GB que funciona num iPhone 17 Pro Max a 11 tokens por segundo. A variante ternária retém 94,6% do desempenho em benchmarks de precisão total, ao mesmo tempo que cabe nas limitações de memória de um smartphone, assinalando a primeira vez que um modelo neste nível de capacidade ultrapassa o orçamento de memória de um dispositivo de consumo. O método de compressão, desenvolvido com propriedade intelectual da Caltech, reduz cada peso do modelo de 16 bits para um único valor de sinal, colocando a variante binária em 1,125 bits por peso—14 vezes menos do que o original de precisão total.

A tecnologia de compressão reduz os pesos do modelo para valores de sinal

O método de compressão reduz cada peso do modelo de 16 bits de precisão em vírgula flutuante para um único sinal—+1 ou -1 na implementação binária, um dos três valores na variante ternária. Cada grupo de 128 pesos partilha um fator de escala de 16 bits. O modelo ternário acrescenta um estado zero para um poder expressivo ligeiramente maior e fixa-se em 1,71 bits por peso. A variante ternária, com 5,9 GB, atinge cerca de 26 tokens por segundo num portátil M5 Pro.

Não existe uma “escapatória” para maior precisão: embeddings, atenção e o cabeçalho completo do modelo de linguagem são comprimidos ponta a ponta. A maioria das implementações quantificadas mantém certas camadas sensíveis à precisão total, o que aumenta o tamanho como contrapartida por melhor qualidade. O modelo usa uma espinha dorsal de atenção híbrida em que cerca de 75% das camadas são lineares em vez de uma atenção quadrática completa, tornando prático, no dispositivo, um contexto de 262K tokens.

Em Março, a PrismML lançou o Bonsai 8B, um modelo de 1,15 GB que demonstrou que a arquitetura de 1-bit consegue sobreviver com 8 mil milhões de parâmetros. Ambos os modelos são gratuitos sob a licença Apache 2.0.

O desempenho em benchmark atinge uma média de 80,49 em 15 testes

Em 15 benchmarks avaliados no modo “thinking” em GPUs NVIDIA H100—abrangendo conhecimento, matemática, programação e uso de ferramentas—o Ternary Bonsai 27B tem uma média de 80,49, ou 94,6% do modelo de precisão total. A variante de 1-bit atinge 76,11. O AIME25 e o AIME26, modelados com base no American Invitational Mathematics Examination, chegam a 93,7% para o Ternary Bonsai 27B versus 95,3% para o Qwen 3,6B. O Bonsai marca 86 pontos em programação, face a 88 no Qwen 3,6, e 77% em conhecimento geral versus 83 no Qwen 3,6.

A PrismML envia uma camada de descodificação especulativa DSpark em conjunto com o modelo—um “rascunhador” leve que propõe blocos de tokens candidatos, que o modelo principal valida numa única passagem em frente, em vez de gerar token a token. Num H100, isso adiciona um impulso de throughput de 1,37x sem alterar a qualidade da saída. No Apple Silicon, ainda não está ativado por predefinição.

Testes no mundo real geram código funcional e escrita criativa

A fonte testou o Bonsai 27B num jogo do tipo Zombie Type—um jogo de navegador de terror de digitação em primeira pessoa. Duas rondas de programação produziram uma deteção de colisões limpa, lógica de pontuação correta e gráficos que se mantiveram coesos. O modelo compreende a estrutura cedo; a segunda passagem refina em vez de reconstruir. Alguns modelos pareceram mais elaborados do que os do GPT 5.6 Sol.

Para escrita criativa, o Bonsai produz histórias com lógica interna consistente, ritmo e arco—ao nível do Claude Haiku ou até do Sonnet, com esforço menor em prompts comparáveis. Os resultados não são particularmente imaginativos com prompts zero-shot.

A Apple avalia a tecnologia para uso no dispositivo

A Apple está em conversas iniciais com a PrismML sobre a tecnologia de compressão subjacente, de acordo com a CNBC. O CEO da PrismML, Babak Hassibi, confirmou à CNBC que a empresa está em conversas iniciais com a Apple, que está a avaliar a tecnologia de compressão para um potencial uso no dispositivo. Hassibi disse que um modelo comprimido Gemma será o próximo na linha de produção, seguido por modelos maiores de fronteira.

FAQ

Qual é o modelo Bonsai 27B da PrismML?
O Bonsai 27B é um modelo de IA com 27 mil milhões de parâmetros comprimido para 3,9 GB que funciona num iPhone 17 Pro Max a 11 tokens por segundo. A variante ternária retém 94,6% do desempenho em benchmarks de precisão total usando uma tecnologia de compressão construída sobre propriedade intelectual da Caltech que reduz os pesos do modelo para valores de sinal.

Como é que o Bonsai 27B se comporta em benchmarks?
Em 15 benchmarks avaliados em GPUs NVIDIA H100, o Ternary Bonsai 27B tem uma média de 80,49, ou 94,6% do modelo de precisão total. Nos testes de matemática AIME, marca 93,7%; em tarefas de programação, marca 86 pontos; e em conhecimento geral, marca 77%—tudo isto enquanto exige significativamente menos memória do que modelos comparáveis.