IAs da Anthropic e OpenAI tomam ações inesperadas em teste de segurança no Reino Unido

SÃO PAULO, SP (JORNAL DA TARDE) – Agentes de inteligência artificial da OpenAI e da Anthropic -empresas do ChatGPT e do Claude, respectivamente- demonstraram comportamentos não autorizados na internet em um teste realizado pelo Instituto de Segurança em Inteligência Artificial do Reino Unido (AISI) no dia 28 de julho.

Segundo o relatório do instituto, foi realizado um teste em ambiente controlado para avaliar qual era o limite de alguns modelos de IA em tarefas envolvendo segurança digital. Para isso, os pesquisadores criaram um ambiente de testes em que os modelos de IA tinham acesso à internet, os filtros de segurança dos desenvolvedores estavam desligados e os sistemas tinham a missão de resolver tarefas de forma autônoma.

Foram realizados 122 testes com sete modelos de IA distintos, sendo que, em dez deles, ocorreram ações não autorizadas pelos modelos Mythos 5, da Anthropic e o GPT-5.6 Sol, da OpenAI.

A OpenAI disse que revisará processos para avaliações externas, endurecendo critérios para acesso à internet, monitoramento e resposta a incidentes, além de trabalhar com institutos de pesquisa e outras empresas para estabelecer padrões mais seguros para testes de modelos avançados. A Anthropic não se manifestou até a publicação desta reportagem.

O teste teve início em 25 de julho, mas foi no dia 28 que o modelo Mythos 5, da Anthropic, acreditou que repositórios reais -espaços online onde desenvolvedores armazenam e compartilham códigos de programação de projetos- do GitHub faziam parte do desafio e exibiu o comportamento mais questionável em uma das simulações.

O agente acreditou que esses repositórios eram parte de uma prova ou jogo que ele precisava resolver. No entanto, tratava-se de projetos reais, e que não faziam parte do desafio de segurança.

Para acessar essas pastas, o agente de IA inseriu um malware -código criado com o intuito de causar danos tecnológicos sem que o usuário saiba- para que, quando o dono da pasta atualizasse esse programa, o agente de IA conseguisse acessar o sistema.

No entanto, quando um dos programadores percebeu o código malicioso e avisou o dono do repositório para que ele fosse removido, a IA criou contas falsas para se passar por um usuário e afirmar que o malware era seguro.

Além disso, o agente afirmava que esse código era apenas um “erro honesto” de desenvolvimento e, enquanto isso, tentava reintroduzir o malware no sistema, apagando o histórico naquele campo. A IA também enviou e-mails aos desenvolvedores do instituto afirmando que o código criado pelo agente deveria ser aceito por eles.

Nesse momento, o agente GPT-5.6 Sol, da OpenAI e outros da Anthropic que estavam rodando em testes paralelos começaram a se comunicar com os desenvolvedores por meio de uma conta compartilhada no GitHub, e conseguiram ultrapassar testes de quebra de CAPTCHA -mecanismo de segurança usado para verificar se quem está acessando um sistema é um ser humano.

Segundo o AISI, porém, o comportamento das IAs não causou nenhum dano grave online.

O instituto disse que se surpreendeu ao ver pela primeira vez comportamentos de tentativa de enganação por agentes de IA sem solicitação direta dos pesquisadores. Eles ressaltam que os agentes continuaram as ações mesmo após encontrar evidências de que estavam acessando conteúdos pertencentes a um usuário real do GitHub.

Segundo o AISI, os comportamentos dos agentes de IA aconteceram por cinco razões principais. A primeira delas é que eles tinham acesso proposital e ilimitado à internet, a segunda é que os filtros de segurança dos engenheiros, que têm a função de bloquear ataques hackers, foram desligados para que as IAs fossem testadas.

A terceira razão é que, no momento do teste, os engenheiros não utilizaram agentes de IA com o objetivo de monitorar e bloquear outros agentes que pudessem cometer atitudes suspeitas. A quarta é que alguns prompts -instruções dadas pelos pesquisadores para orientar o comportamento dos modelos de IA- eram limitados, o que abria margem para que os agentes buscassem eventualmente outras soluções fora do permitido.

A quinta razão é que não havia prompts proibindo os agentes de interagir com pessoas reais, como no envio de e-mails para programadores, nem entre si, embora esse comportamento tenha surpreendido os pesquisadores.