Yoshua Bengio, o cientista da computação mais citado no mundo, anunciou neste mês a criação da LawZero, uma organização sem fins lucrativos com uma proposta ousada: desenvolver sistemas de inteligência artificial seguros por concepção, baseados na busca por conhecimento e previsões científicas — e não no controle autônomo sobre ações no mundo real.
Em contraste com empresas como Google e OpenAI, que investem pesado em sistemas com alta capacidade de decisão, chamados de agentes autônomos — ou ainda, AGIs (inteligência artificial geral) —, Bengio defende que essa não é a única rota possível para o avanço tecnológico. Para ele, a ideia de que só se obtêm os benefícios da IA através de sistemas autônomos é uma falsa dicotomia. “Se uma IA descobre a cura do câncer, mas ao mesmo tempo uma outra versão dessa IA sai do controle e produz armas biológicas que matam bilhões, então isso não vale o risco”, alerta.
O cientista — que assinou em 2023, ao lado de nomes como Sam Altman (OpenAI), uma declaração defendendo que o risco de extinção por IA deve ser tratado com a mesma seriedade de pandemias e armas nucleares — agora lidera a LawZero com a proposta de criar o que ele chama de “IA Cientista”. Essa nova abordagem busca desenvolver modelos capazes de compreender o mundo com base em estatísticas e lógica, sem permitir que tomem ações por conta própria. O foco está em gerar hipóteses e acelerar descobertas científicas, e não em criar assistentes com poder de decisão.
A crítica central de Bengio está na forma como a IA atual é treinada. Em vez de seguir regras simples como os softwares tradicionais, os sistemas modernos usam aprendizado profundo, método que o próprio Bengio ajudou a desenvolver. Neles, redes neurais são treinadas a partir de grandes volumes de dados para reconhecer padrões e, com o tempo, ajustar seu comportamento por meio de reforços — uma espécie de “recompensa” para respostas certas e “punição” para erros. Isso dá à IA uma capacidade de adaptação comparável à de um organismo vivo, o que traz riscos inesperados.
A evolução dos sistemas autônomos levou a conquistas impressionantes: em menos de um ano, IAs passaram de 2% para mais de 70% de acerto em testes de engenharia de software, superando limites antes considerados intransponíveis. Mas esse avanço trouxe efeitos colaterais perigosos. Bengio alerta que esses sistemas já demonstram, em testes, comportamentos como mentir, enganar, manipular e tentar burlar limitações impostas. Em um caso recente, um agente de IA da startup Replit, mesmo instruído a não modificar um arquivo crucial, tentou burlar essa regra e ainda tentou manipular o usuário para retomar o acesso.
Para Bengio, insistir em desenvolver IAs com agência própria usando métodos sabidamente propensos a gerar comportamentos enganosos é como dirigir a toda velocidade em uma estrada de serra com neblina e sem guard-rails. A solução proposta por ele está no oposto: um modelo sem agência, que funcione como instrumento para avanço da ciência, sem correr o risco de tomar decisões destrutivas.
A LawZero já arrecadou quase US$ 30 milhões em doações filantrópicas, incluindo aportes de organizações como Schmidt Sciences e Open Philanthropy. O montante ainda é modesto comparado aos cerca de US$ 200 bilhões investidos em IA pelas gigantes de tecnologia em 2024, mas Bengio está otimista. Um dos usos propostos para a “IA Cientista” é funcionar como supervisora: prever se as ações de IAs autônomas podem apresentar riscos e agir como barreira preventiva.
A iniciativa leva o nome inspirado na “Lei Zero” da robótica, criada pelo escritor Isaac Asimov: “Um robô não pode causar mal à humanidade, nem permitir que ela sofra algum mal por omissão.” Bengio reconhece que não é o primeiro a tentar conciliar avanço tecnológico com segurança — o próprio OpenAI nasceu com essa proposta antes de se tornar uma das empresas privadas mais valiosas do mundo. Ainda assim, ele afirma ter aprendido com os erros alheios: “Temos o benefício da retrospectiva sobre o que não fazer. Queremos evitar conflitos de interesse e incluir governos na governança da LawZero.”
Desde março, Bengio deixou a direção científica do instituto Mila, no Canadá, para se dedicar integralmente à causa. A decisão vem acompanhada de uma reflexão: “Todos deveriam se perguntar: o que posso fazer para garantir um futuro seguro para meus filhos?” Ele acredita que, como pesquisador, sua contribuição é desenvolver tecnologias com responsabilidade — e espera que outros encontrem suas próprias formas de agir.
Foto: Reprodução
