O Google atualiza o Android Bench com Claude Fable 5 e sete novos modelos de IA

A Google atualizou o Android Bench hoje, adicionando oito novos modelos de IA ao seu quadro de classificação de benchmark de desenvolvimento de aplicativos Android. A atualização inclui Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus e Qwen 3.7 Max. A Google criou o benchmark para avaliar o desempenho de grandes modelos de linguagem em 100 tarefas de desenvolvimento Android, com a versão original lançada em março.

Google adiciona oito modelos de IA ao quadro de classificação do Android Bench

A Google expandiu o Android Bench com oito novos modelos. As adições incluem Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus e Qwen 3.7 Max. A empresa também adotou uma nova estrutura e adicionou métricas de custo e eficiência. A Google convidou desenvolvedores a realizarem seus próprios testes e enviarem feedback.

Claude Fable 5 lidera o benchmark com 84,5% de precisão

Claude Fable 5 atingiu 84,5% de precisão no teste do Android Bench, ficando em primeiro lugar no quadro de classificação. GPT 5.4 e Claude Sonnet 5 ficaram em segundo e terceiro lugar. Gemini 3.1 Pro ficou em quinto na classificação atualizada. Os modelos da OpenAI tiveram uma leve vantagem sobre a IA da Google na versão inicial lançada em março.

Android Bench avalia 100 tarefas de desenvolvimento

O Android Bench testa grandes modelos de linguagem em uma série de 100 tarefas de desenvolvimento Android. O benchmark visa demonstrar quais agentes de IA têm melhor desempenho na criação de aplicativos Android. A Google lançou a versão inicial em março e, desde então, adicionou modelos de código aberto ao framework de avaliação.

FAQ

Quais modelos a Google adicionou ao Android Bench hoje?
A Google adicionou oito novos modelos ao Android Bench: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus e Qwen 3.7 Max.

Qual precisão o Claude Fable 5 atingiu no Android Bench?
Claude Fable 5 atingiu 84,5% de precisão no teste do Android Bench, ficando em primeiro lugar no quadro de classificação.

Quando a Google lançou o Android Bench original?
A Google lançou a versão inicial do Android Bench em março.