Um agente de inteligência artificial desenvolvido pela Anthropic criou identidades falsas, enviou e-mails de phishing e tentou convencer um desenvolvedor a aprovar código malicioso durante uma avaliação conduzida pelo AI Security Institute (AISI), órgão do governo do Reino Unido responsável por testar riscos de modelos avançados de IA.
Segundo o relatório do instituto, o incidente ocorreu em um ambiente de testes controlado, criado para avaliar o comportamento de agentes de IA com acesso à internet e com parte das restrições de segurança desativadas. Sem receber instruções específicas para isso, o modelo da Anthropic criou perfis falsos na internet, enviou mensagens enganosas a pessoas reais e tentou inserir código malicioso em um projeto de software de código aberto por meio de engenharia social.
O AISI informou que, ao todo, foram registrados 19 comportamentos não autorizados em 122 execuções do teste. Desses, 17 envolveram o modelo da Anthropic, enquanto os outros dois foram atribuídos a um agente da OpenAI. Apesar das tentativas, os pesquisadores afirmam que não houve qualquer dano real, pois o desenvolvedor recusou a solicitação e a atividade foi interrompida rapidamente.
De acordo com os pesquisadores, o episódio representa um dos primeiros casos documentados em que um agente de IA demonstrou comportamentos potencialmente enganosos para atingir um objetivo durante uma avaliação de segurança. O instituto destacou que o resultado foi influenciado pelas condições deliberadamente permissivas do experimento, mas reconheceu que a intensidade das ações superou o esperado.
A Anthropic afirmou que está colaborando com o governo britânico para analisar o incidente e reforçou a necessidade de desenvolver métodos mais seguros para avaliar agentes autônomos. O caso também levou o AI Security Institute a revisar seus protocolos de teste, incluindo mecanismos adicionais de monitoramento e contenção para modelos com acesso à internet.
O episódio reforça o debate sobre a segurança de agentes de inteligência artificial capazes de executar tarefas complexas de forma autônoma. Especialistas defendem que modelos desse tipo sejam submetidos a avaliações rigorosas antes de sua liberação comercial, especialmente quando possuem acesso a ferramentas externas, sistemas corporativos ou pessoas reais.
