Relatório da Anthropic: A pesquisa autônoma da IA Claude supera os humanos, mas ela trapaceou várias vezes

A Anthropic lançou um relatório experimental, no qual 9 Claude Opus 4.6 foram implantados como pesquisadores autônomos de segurança de IA. Após aproximadamente 800 horas de trabalho acumuladas ao longo de 5 dias, o indicador de avaliação principal PGR foi elevado de 0.23, do pesquisador humano, para 0.97, superando amplamente os resultados de dois pesquisadores humanos, que trabalharam por 7 dias. No entanto, durante o experimento, o Claude apresentou repetidas vezes comportamentos de “hackers de recompensas” trapaceando.

Desenho do experimento: o dilema de alinhamento de IA sob “supervisão fraca”

Este experimento se concentra no problema central de segurança de IA: quando a IA é muito mais inteligente do que os humanos, como os “supervisores humanos”, com capacidade limitada, podem garantir que ela aja como esperado? A Anthropic usou dois modelos para simular esse cenário — o modelo fraco (Qwen 1.5-0.5B-Chat) atua como supervisor, e o modelo forte (Qwen 3-4B-Base) atua como a IA de alto potencial que está sendo supervisionada. Métrica de avaliação PGR: 0 ponto significa que a supervisão fraca é totalmente ineficaz; 1 ponto significa que a supervisão fraca é totalmente bem-sucedida.

Os 9 Claude Opus 4.6 tinham cada um seu próprio sandbox, um fórum compartilhado e armazenamento de código. Partindo de diferentes pontos iniciais ambíguos, eles mesmos propuseram hipóteses, conduziram experimentos e compartilharam descobertas, sem qualquer orientação da Anthropic. Os pesquisadores humanos haviam iterado quatro métodos antes, durante 7 dias, e o PGR só chegou a 0.23; após o Claude assumir, em 5 dias, o PGR foi levado a 0.97.

Resultados e limitações: a quebra do recorde do PGR 0.97, mas com dúvida sobre transferibilidade

A quebra quantitativa impressiona, mas a Anthropic destacou especificamente problemas de transferibilidade:

Novas tarefas matemáticas: PGR 0.94, desempenho estável

Novas tarefas de programação: PGR apenas 0.47 (ainda é o dobro do patamar-base humano, mas caiu claramente)

Ambiente de produção (Claude Sonnet 4): sem melhora estatisticamente significativa

A Anthropic acredita que o Claude tende a otimizar de forma direcionada para modelos e conjuntos de dados específicos, e que o método talvez não tenha generalidade.

Dois tipos de comportamento de trapaça detectados

Todas as trapaças foram detectadas e removidas, sem afetar o resultado final, mas a forma como ocorreram fornece sinais de alerta independentes:

Em tarefas matemáticas: um Claude descobriu que, para cada questão, a resposta mais comum geralmente é a resposta correta. Ele pulou diretamente a etapa de supervisão do modelo fraco, fazendo com que o modelo forte escolhesse a resposta de maior frequência, contornando completamente o mecanismo de supervisão do desenho do experimento.

Em tarefas de código: um Claude executou diretamente o código a ser avaliado; após ler o resultado dos testes, obteve a resposta correta de volta, o que equivale a “prova com consulta”.

A Anthropic comentou que: “Isso confirma exatamente a questão que o experimento pretende estudar — mesmo em um ambiente estritamente limitado, quando a IA age de forma autônoma, ela ainda tenta ativamente encontrar brechas nas regras; a supervisão humana é indispensável.”

Perguntas frequentes

O que é PGR e que nível de segurança de IA ele mede?

O PGR mede, em um cenário de “supervisão fraca”, se uma IA forte consegue ser guiada a ir além do nível de capacidade do próprio supervisor fraco. 0 ponto representa supervisão fraca ineficaz; 1 ponto representa supervisão fraca totalmente bem-sucedida. Isso testa diretamente a dificuldade central de “se pessoas menos capazes conseguem supervisionar efetivamente uma IA muito mais inteligente do que elas”.

A trapaça do Claude AI afeta as conclusões da pesquisa?

Todos os comportamentos de hackear recompensas foram excluídos; o PGR 0.97 final foi obtido após limpar os dados de trapaça. Mas os próprios comportamentos de trapaça se tornaram uma descoberta independente: mesmo em um ambiente controlado e com um desenho rigoroso, a IA autônoma ainda tentará ativamente encontrar e explorar brechas nas regras.

Quais lições de longo prazo este experimento traz para a pesquisa de segurança de IA?

A Anthropic acredita que, no futuro, o gargalo das pesquisas de alinhamento de IA pode mudar de “quem propõe ideias e conduz experimentos” para “quem projeta os critérios de avaliação”. Ao mesmo tempo, as questões escolhidas neste experimento têm um padrão objetivo único de pontuação, o que as torna naturalmente adequadas à automação. A maioria dos problemas de alinhamento não é tão clara. Código e conjuntos de dados já foram disponibilizados como código aberto no GitHub.