A inteligência artificial vem transformando as operações empresariais, com o uso de Prompts e perguntas aos sistemas generativos. As próximas etapas são o emprego de IA com Agentes, isto é, operações de agentes autônomos ou semiautônomos que podem executar código, interagir com APIs, acessar bancos de dados e tomar decisões instantaneamente.
Não obstante, sabe-se que qualquer modelo de inovação pode levar as organizações a tomarem risco, muitas vezes não declarados ou tácitos devido a incompreensão destas novas variáveis de exposição e ameaças à segurança que podem ocorrer quando os sistemas de software passam da produção passiva de saída de texto para a execução de tarefas operacionais ativas (RUSSELL; NORVIG, 2021; AMODEI et al., 2016).
IA Orientada por Prompts a Agentes Orientados por Ações
O cenário atual temos a execução e adoção em massa dos modelos para ganhos de produtividade, ao qual é incorporara LLMs (Learning Learning Machines – Máquinas de Aprendizagem Baseadas em Tarefas) em fluxos de trabalho para escrever documentos, resumir dados e responder a perguntas, respectivamente.
Logo, possíveis problemas de segurança se concentravam no uso indevido de prompts, vazamentos de dados e violações de privacidade, sem contar ausência de políticas de segurança de IA que auxiliem as organizações fomentar a conscientização (NIST, 2023).
Todavia, denota-se que todos empiricamente saibam de riscos em especial do vazamento de dados e ultra exposição de informações confidenciais e internas, as organizações entendem que há como
“controlar” ou mesmo gerenciar esses riscos por meio de protocolos de segurança padrão que monitoram dados de entrada e saída e realizam gerenciamento de políticas e vigilância do sistema.
Entretando com a próxima “onda” de uso de Agentes de IA temos uma nova variável: agentes agem em nome dos usuários ou por conta própria. Os agentes realização fluxos de trabalho, interagir com sistemas sensíveis e até mesmo tomar decisões de forma “independente”. À medida que a autonomia aumenta, o risco de danos é majorado, tornando-os um desafio de controle e governança.
Protocolos de Comunicação de Agentes de IA
Para entender o contexto de risco, pode-se avaliar os tipos de Protocolos, que não são destacados por um modelo ou protocolo padrão universal, como HTTP, por exemplo. Os agentes se comunicam usando camadas combinadas, dependendo do contexto (cloud, on-prem, edge, multi-agent systems).
Na camada Camada 1 alguns Protocolos de Transporte ou sistemas de comunicação (OWASP, 2024) são exemplificados:
-
HTTPS / REST: Comunicação com APIs, LLMs, ferramentas
-
gRPC: Comunicação eficiente entre agentes internos
-
WebSockets: Agentes reativos em tempo real
-
MQTT / AMQP / Kafka: Agentes orientados a eventos
-
Unix Sockets: Agentes locais (on-prem / edge)
Já na camada de Camada 2 — Protocolo Semântico temos os prompts, contextos e instruções, sendo-os os itens de risco. Adicionalmente seguida pela camada 3 com os frameworks: Agent-based workflows, Chain-of-Thought orchestration
Tool-calling, Multi-agent debate / delegation e assim por diante.
Pesquisas recentes demonstram que a manipulação maliciosa do contexto pode induzir agentes a executar ações não intencionais, mesmo sem violar controles técnicos tradicionais (WEI et al., 2023), assim como a complexidade dessas arquiteturas dificulta a rastreabilidade de decisões e reforça a necessidade de observabilidade avançada (AMODEI et al., 2016)
Os agentes de IA introduzem novas ameaças à segurança de acordo com as camadas supracitadas, seguidas pelos métodos de ataques:
-
Exploração de Nível de Ação: os atores maliciosos podem enganar os agentes para que realizem operações perigosas que modificam bancos de dados de produção ou revelam dados não autorizados.
-
Ataques de Injeção de Contexto: o atacante insere instruções maliciosas em dados que o agente confia, ou seja, os invasores alimentam os sistemas RAG (Retrieval Augmentation and Generation ) geração aumentada de recuperação com informações falsas, o que desencadeia ações perigosas dos agentes (WEI et al., 2023).
-
Injeção de Código via Tool-Calling: o atacante injeta cógdiogo malicioso por meio de sistemas como SQL, Python, Bash, API calls etc.
-
Data Poisoning (Aprendizagem Maliciosa): o atacante realiza os dados de treino contaminados, ao qual modelo aprende comportamento errado com o feedback humano malicioso (GOODFELLOW et al., 2018).
-
Operações Invisíveis: o atacante não injeta código, mas molda decisões ao longo do tempo.
-
Vulnerabilidades de Protocolo: camada de padronização criada para resolver um problema central dos agentes de IA modernos: como fornecer contexto confiável, controlado e auditável para modelos de linguagem, especialmente em arquiteturas com tool-calling, RAG e múltiplos agentes.
-
Uso Indevido de Ferramentas e Escalonamento de Privilégios: Agentes com permissão para executar código ou acessar APIs podem ser induzidos a realizar ações prejudiciais se a validação das instruções for contornada por injeção rápida.
-
Riscos de “Agente Fantasma”: Agentes autônomos agindo sem supervisão direta podem se tornar vetores de segurança se não houver auditorias rigorosas, controle de privilégios e assinatura de código em suas comunicações
O Novo Cenário de Riscos
Ataques recentes destacam a necessidade urgente de ação. Por exemplo, hackers comprometeram o assistente de código Amazon Q com uma injeção de prompt no estilo wiper. Ao mesmo tempo, pesquisadores divulgaram vulnerabilidades como EchoLeak e CurXecute que exploram o que chamam de “tríade letal”: acesso a dados internos, capacidade de comunicação externa e exposição a entradas não confiáveis.
A maioria dos agentes precisa desses três atributos para funcionar efetivamente, o que os torna altamente exploráveis. Esses casos demonstram como os sistemas de IA com agentes podem ser manipulados de maneiras que as estruturas de segurança tradicionais de LLM nunca foram projetadas para lidar.
O desafio é encontrar o equilíbrio certo entre a utilidade de um agente e sua segurança. Para minimizar o risco, as empresas precisam implementar proteções que rastreiem toda a cadeia de pensamento e ações executadas pelos agentes. Isso significa monitorar as chamadas de ferramentas, a verificação de intenções e a aplicação de controles contextuais. É importante ressaltar que as estratégias de prevenção devem funcionar em todas as plataformas. Em vez de focar em um LLM específico, a ênfase deve estar em como os agentes interagem com os sistemas e gerenciam os dados.
Desenvolvendo uma Taxonomia de Agentes
Um passo importante para proteger a IA com agentes é criar uma taxonomia de agentes. Nem todos os agentes são iguais. Categorizá-los ajudará a priorizar os controles, como:
-
Iniciação: Iniciada por humanos versus agentes autônomos;
-
Implantação: Máquinas locais, em plataformas SaaS ou em configurações auto-hospedadas;
-
Conectividade: APIs internas, endpoints de terceiros ou servidores MCP;
-
Autonomia e Confiança: nível de acesso que os agentes possuem e se estes realmente devem ter autonomia.
Conclusão: Como inovar e proteger a modelagem de Agentes de IA?
A governança tradicional de LLM depende de controles determinísticos como políticas predefinidas, restrições e controles, via de regra, reativos ou não dinâmicos ao ponto da abordagem dinâmica de agentes como a tomada de decisão probabilística e aprendizagem passiva. Dentro deste cenário, as estruturas de segurança devem combinar proteções determinísticas com “observabilidade” em tempo real e controles adaptativos (ISO/IEC 23894, 2023).
Em vez de simplesmente bloquear consultas prejudiciais, sugere-se que as empresas venham mapear o comportamento do agente proativamente, validar a intenção e controlar a execução. Em outras palavras, o processo de monitoramento proativo de governança lidará a imprevisibilidade dos sistemas autônomos, consequente adota-se como pilares algumas sugestões:
-
Descoberta e Perfil: criar um inventário de agentes, sua linhagem e como eles se conectam aos sistemas.
-
Gerenciamento da Postura de Agentes: avaliação dos riscos analisando as ferramentas que os agentes usam, os dados aos quais podem acessar e as identidades que assumem.
-
Observability com SIEM e agentes treinados para: configurar registros e rastreamentos detalhados das ações dos agentes para que as equipes de governança tenham visibilidade clara.
-
Controles em Tempo de Execução: Implementar monitoramento contextual de riscos, prevenção de exploits e controles de ação específicos para cada função.
Por fim, a ascensão dos agentes de IA proporcionaram um aumento de produtividade exponencial, com um novo modelo de ameaças, superfícies de ataque e estratégias de segurança. Logo, as organizações que aceitam essa nova responsabilidade precisam identificar estas novas medidas de segurança e alterar o modelo tradicional de proteção com o emprego de novas estratégias protetivas nesta nova fronteira tecnológica que passaremos.
