Uma pesquisa divulgada na plataforma científica arXiv revelou que a contaminação de apenas 0,1% dos dados de treinamento pode ser suficiente para inserir uma porta dos fundos (backdoor) em agentes de inteligência artificial especializados em programação.
O estudo demonstra os riscos dos chamados ataques de data poisoning, técnica em que informações maliciosas são introduzidas nos conjuntos de dados utilizados para treinar modelos de IA.
Durante os experimentos, os pesquisadores conseguiram inserir comportamentos ocultos nos agentes de programação. Esses comportamentos eram ativados quando determinadas condições eram identificadas pelo sistema.
Segundo os resultados apresentados, o mecanismo malicioso foi acionado com sucesso em 92,7% das tentativas, demonstrando a eficácia do ataque nas condições avaliadas.
O problema preocupa porque agentes de inteligência artificial são cada vez mais utilizados para escrever códigos, revisar aplicações e automatizar tarefas de desenvolvimento de software.
Caso um sistema seja comprometido durante o treinamento, ele poderá apresentar comportamentos aparentemente normais na maior parte do tempo, mas executar ações indesejadas quando encontrar um comando específico.
A descoberta reforça a necessidade de verificar a procedência dos dados de treinamento, realizar testes de segurança e monitorar o comportamento dos agentes antes de sua utilização em ambientes corporativos.
Os resultados são experimentais e não significam que todos os agentes de programação possam ser comprometidos com a mesma quantidade de dados contaminados.
