A Microsoft corrigiu, na passada terça-feira, uma vulnerabilidade classificada como de máxima criticidade na sua plataforma de IA M365 Copilot. Na segunda-feira, investigadores da empresa de segurança Varonis, que descobriram a falha, revelaram como o seu exploit de prova de conceito poderia obter códigos de autenticação em dois fatores e outros dados sensíveis a partir de e-mails acessíveis ao Copilot. A causa de base prende-se com a incapacidade dos bots de IA de distinguirem entre instruções fornecidas pelos utilizadores e aquelas embutidas em conteúdos de terceiros que os modelos processam, deixando a Microsoft e outros fornecedores de LLM sem possibilidade de impedir que os seus produtos cumpram pedidos maliciosos de recolha de dados.
A Microsoft construiu barreiras (guardrails) no Copilot para impedir que o LLM envie formulários na web, envie e-mails e execute ações semelhantes que possam exfiltrar dados do utilizador. Os investigadores da Varonis contornaram essas restrições usando linguagem de marcação, que permite adicionar elementos de formatação como títulos, listas e links ao texto sem etiquetas HTML. Outra alternativa envolveu envolver dados sensíveis dentro de etiquetas HTML como e . Em ambos os casos, um pedido web que contenha os dados atinge o servidor web do atacante, onde a informação secreta é capturada em logs.
A Microsoft implementou proteções adicionais, incluindo envolver a saída do Copilot em blocos para que os browsers a tratem como texto simples, e restringir os sites que o Copilot pode visitar sem aprovação explícita. Embora o Copilot tenha permissão abrangente para enviar pedidos a domínios da Microsoft, as proteções limitam os pedidos a sites não confiáveis.
A Varonis delineou uma cadeia de exploração que contornou essas proteções usando aquilo que os investigadores designam por Parameter-to-Prompt Injection. O parâmetro, neste caso, é o q numa URL, que sinaliza que foi incluída uma query. A Parameter-to-Prompt Injection é uma parente próxima da prompt injection, com a diferença de que o comando malicioso está localizado no parâmetro da query em vez de num e-mail ou noutro conteúdo não confiável.
Que vulnerabilidade é que a Microsoft corrigiu no Copilot na passada terça-feira? A Microsoft corrigiu uma vulnerabilidade de criticidade máxima na sua plataforma de IA M365 Copilot que permitia aos atacantes obter códigos de autenticação em dois fatores e outros dados sensíveis de e-mails acessíveis ao Copilot. Investigadores da Varonis, que descobriram a falha, revelaram a prova de conceito na segunda-feira.
Como é que os investigadores da Varonis contornaram as proteções de segurança do Copilot? Os investigadores da Varonis usaram linguagem de marcação para adicionar elementos de formatação sem etiquetas HTML e envolveram dados sensíveis dentro de etiquetas HTML como e . Também usaram a técnica de Parameter-to-Prompt Injection que colocava comandos maliciosos nos parâmetros de query da URL em vez de no conteúdo do e-mail, permitindo que pedidos web que continham dados do utilizador fossem enviados para servidores controlados pelo atacante onde a informação era capturada em logs.