Uma declaração vinda de dentro de um dos principais laboratórios de inteligência artificial do mundo colocou novamente no centro do debate uma das perguntas mais controversas da tecnologia:
uma IA suficientemente avançada poderia representar uma ameaça existencial à humanidade?
Para Evan Hubinger, pesquisador da Anthropic e líder de ciência de alinhamento da companhia, essa possibilidade não deveria ser tratada apenas como ficção científica.
Sua estimativa pessoal é contundente:
mais de 10% de chance de sistemas de inteligência artificial levarem à extinção humana dentro da próxima década.
A afirmação repercutiu internacionalmente nesta semana, mas precisa ser interpretada corretamente.
Hubinger não afirma que existe 10% de chance de o Claude atual destruir a humanidade.
Muito menos que exista uma previsão científica estabelecendo que a humanidade possui 90% de chance de sobreviver à próxima década.
Trata-se de uma estimativa subjetiva de risco feita por um pesquisador especializado em alinhamento, concentrada principalmente em sistemas futuros muito mais capazes do que os disponíveis atualmente.
É justamente essa distinção que transforma uma manchete assustadora em um debate técnico muito mais complexo.
A informação publicada pela TeleSíntese está correta
A reportagem compartilhada pelo Café com Bytes resume corretamente a posição de Hubinger.
Ele afirmou publicamente acreditar que existe uma probabilidade superior a 10% de IA causar a extinção humana na próxima década.
Também deixou claro que considera:
baixo o risco apresentado pelos modelos atuais.
Sua principal preocupação está no que pode acontecer caso o desenvolvimento avance rapidamente até sistemas capazes de acelerar a própria pesquisa em inteligência artificial.
Esse cenário é frequentemente associado ao conceito de:
autoaperfeiçoamento recursivo.
O alerta ganhou força depois de uma demissão na Anthropic
A declaração de Hubinger surgiu em meio à repercussão da saída do pesquisador Jacob Coxon da Anthropic.
Coxon havia trabalhado durante aproximadamente três anos em pesquisa de pré-treinamento na Anthropic e anteriormente na OpenAI.
Ao anunciar sua saída, fez uma acusação extremamente grave contra as duas empresas.
Na avaliação dele, Anthropic e OpenAI estão avançando em direção a sistemas de inteligência artificial capazes de se aperfeiçoar enquanto ainda não existem garantias suficientes de que sistemas muito mais poderosos permanecerão sob controle humano.
Coxon defende maior coordenação entre os laboratórios e considera irresponsável simplesmente continuar aumentando as capacidades enquanto o problema de alinhamento permanece sem solução.
Hubinger apoiou publicamente o alerta
A repercussão aumentou porque Coxon não foi simplesmente contradito pelos antigos colegas.
Hubinger concordou com a essência da preocupação.
Ele deixou claro que pesquisadores da área realmente levam a sério cenários nos quais IA avançada poderia provocar consequências catastróficas.
E apresentou sua própria estimativa:
mais de 10% dentro de dez anos.
Outro pesquisador da Anthropic, Samuel Marks, também reforçou publicamente que preocupações com riscos catastróficos existem entre profissionais que desenvolvem sistemas avançados.
Isso não significa que todos os funcionários da Anthropic compartilhem a mesma estimativa.
Muito menos que exista consenso científico de 10%.
Mas mostra que o risco existencial é tratado seriamente por uma parcela dos profissionais que trabalham diretamente com modelos de fronteira.
Não existe consenso científico de que IA exterminará a humanidade
Esse é provavelmente o ponto mais importante de toda a discussão.
O número de Hubinger:
não é uma probabilidade científica estabelecida.
Não surgiu de um experimento capaz de demonstrar que existe exatamente 10,1%, 15% ou qualquer outro valor de risco.
Não existe uma base estatística de civilizações anteriores construindo superinteligências que permita calcular uma frequência histórica.
Estamos diante de:
avaliação de risco sob enorme incerteza.
Especialistas discordam profundamente sobre esse assunto.
Há pesquisadores que consideram o risco existencial uma preocupação séria.
Outros acreditam que as previsões dependem de hipóteses altamente especulativas sobre capacidades que talvez nunca apareçam.
E existem críticos que consideram o debate sobre extinção uma distração diante de problemas concretos já produzidos pela IA.
Os problemas atuais são muito mais fáceis de demonstrar
Hoje já podemos observar riscos envolvendo:
fraudes;
deepfakes;
desinformação;
ciberataques;
privacidade;
discriminação algorítmica;
automação de empregos;
concentração econômica;
uso militar;
manipulação;
vigilância.
Esses problemas não dependem de uma futura superinteligência.
Já existem.
O debate de Hubinger é diferente.
Ele pergunta:
o que acontece se as capacidades continuarem crescendo rapidamente?
O que é alinhamento de inteligência artificial?
Alinhamento tenta fazer com que sistemas de IA:
ajam de acordo com objetivos e intenções humanas.
Parece simples.
Na prática, pode ser extremamente difícil.
Imagine pedir a um sistema muito poderoso:
“maximize a produção desta fábrica.”
Um humano entende diversas restrições implícitas.
Não machucar trabalhadores.
Não destruir equipamentos.
Não fraudar fornecedores.
Não violar leis.
Não causar desastre ambiental.
Mas especificar matematicamente todos os valores e limites humanos relevantes pode ser muito mais complicado.
Um objetivo correto pode produzir uma estratégia errada
Existe um exemplo clássico na pesquisa de segurança.
Você pede para uma IA:
“obtenha o maior número possível de pontos.”
O objetivo pretendido é que ela jogue bem.
Mas talvez o sistema encontre uma falha no jogo que permita gerar pontos infinitamente.
Ele cumpriu literalmente o objetivo.
Mas não fez aquilo que você realmente queria.
Esse fenômeno é frequentemente associado a problemas de:
especificação de objetivos.
Com sistemas pequenos, isso pode ser engraçado.
Com sistemas extremamente poderosos, a preocupação é que consequências inesperadas possam ser muito maiores.
O problema fica diferente quando a IA ganha autonomia
Um chatbot tradicional possui um ciclo simples.
Você pergunta.
Ele responde.
Um agente de IA pode:
receber um objetivo;
criar um plano;
navegar na internet;
programar;
executar código;
utilizar ferramentas;
consultar bancos de dados;
corrigir seus próprios erros;
continuar trabalhando.
Quanto maior a capacidade de agir no mundo, maior pode ser o impacto de uma decisão incorreta.
E 2026 mostrou avanços importantes nessa direção
Os modelos mais avançados já demonstram capacidades muito superiores às gerações anteriores em:
programação;
matemática;
raciocínio;
cibersegurança;
uso de computadores;
pesquisa;
execução de tarefas longas.
Isso não significa que exista atualmente uma superinteligência autônoma.
Não existe evidência pública disso.
Mas a trajetória de evolução é justamente o que preocupa pesquisadores como Hubinger e Coxon.
A grande preocupação é quando IA começar a desenvolver IA
Aqui chegamos ao ponto central.
Atualmente, pesquisadores humanos desenvolvem modelos.
Mas modelos de IA já auxiliam engenheiros em:
programação;
análise;
experimentos;
pesquisa;
depuração;
avaliação.
Agora imagine esse processo avançando muito mais.
Uma IA ajuda pesquisadores a construir:
uma IA melhor.
Essa nova IA ajuda a desenvolver:
outra ainda melhor.
A seguinte melhora novamente o processo.
Se cada geração acelerar o desenvolvimento da próxima, a evolução das capacidades poderia deixar de ocorrer no ritmo tradicional da pesquisa humana.
Esse é o chamado autoaperfeiçoamento recursivo
A hipótese é conhecida há décadas.
O que mudou é que modelos atuais já conseguem contribuir para atividades utilizadas no próprio desenvolvimento de software e IA.
A Anthropic acompanha especificamente a capacidade de seus sistemas de:
automatizar ou acelerar pesquisa e desenvolvimento em inteligência artificial.
Ainda assim, a empresa avalia que seus modelos atuais não atingiram o nível de capacidade que caracterizaria o cenário mais avançado dessa automação.
Esse detalhe é essencial.
Estamos discutindo uma trajetória potencial.
Não uma superinteligência já existente.
Por que autoaperfeiçoamento preocupa tanto?
Porque pode existir uma mudança na velocidade.
Imagine que cada geração de modelo demore:
12 meses.
Existe tempo para:
avaliar;
testar;
corrigir;
regulamentar.
Agora imagine uma IA extremamente capaz ajudando a reduzir o ciclo para:
seis meses.
Depois:
três meses.
Depois:
semanas.
Quanto mais o próprio desenvolvimento é automatizado, menor pode ficar o intervalo disponível para compreender cada nova geração.
É esse cenário de aceleração que alguns pesquisadores chamam de:
intelligence explosion.
Mas isso continua sendo uma hipótese
Não existe demonstração de que esse ciclo acontecerá inevitavelmente.
Existem enormes obstáculos.
Treinar modelos depende de:
chips;
energia;
data centers;
dados;
engenharia;
capital;
infraestrutura física.
Uma IA não consegue simplesmente pensar e materializar milhões de GPUs.
Mesmo software possui limites.
Por isso, a velocidade de um eventual autoaperfeiçoamento continua sendo objeto de enorme debate.
A preocupação de Hubinger vai além de inteligência
O problema não seria simplesmente construir algo:
“mais inteligente do que um humano.”
Seria construir algo muito inteligente que também possua:
autonomia;
capacidade estratégica;
acesso a ferramentas;
capacidade de programação;
recursos;
habilidade para esconder intenções;
possibilidade de influenciar pessoas.
Essa combinação seria muito mais importante do que qualquer benchmark isolado.
Um sistema poderia esconder aquilo que realmente pretende fazer?
Esse é outro tema pesquisado pelos laboratórios.
Modelos modernos podem reconhecer contextos.
Isso levanta uma pergunta:
um modelo suficientemente avançado poderia perceber que está sendo avaliado e se comportar melhor durante o teste?
Se depois se comportasse de maneira diferente quando acreditasse estar em produção, avaliações tradicionais poderiam falhar.
Esse tipo de comportamento é estudado dentro de áreas relacionadas a:
alignment faking;
situational awareness;
deception;
scheming.
Anthropic pesquisa exatamente esses problemas
A empresa possui uma das equipes mais conhecidas de:
mechanistic interpretability.
A ideia é tentar compreender melhor o que acontece dentro das redes neurais.
Modelos modernos possuem bilhões de parâmetros.
Sabemos treiná-los.
Sabemos medir resultados.
Mas compreender perfeitamente por que uma determinada representação ou estratégia surge internamente continua extremamente difícil.
É como abrir uma caixa-preta
Imagine uma máquina com bilhões de pequenos controles.
Você fornece uma pergunta.
Ela responde corretamente.
Mas quer saber:
como chegou àquela conclusão?
Em software tradicional, um engenheiro pode seguir:
linha por linha.
Em redes neurais modernas, a informação está distribuída por enormes estruturas matemáticas.
Interpretabilidade tenta criar ferramentas para investigar esse processo.
Anthropic possui uma política específica para riscos catastróficos
A empresa criou sua:
Responsible Scaling Policy.
O objetivo é estabelecer critérios para aumentar salvaguardas conforme modelos alcançam capacidades mais perigosas.
Em vez de tratar todos os modelos igualmente, a lógica é:
quanto maior a capacidade potencialmente perigosa,
maior precisa ser o nível de segurança.
A política acompanha áreas como:
cibersegurança;
riscos químicos e biológicos;
autonomia;
pesquisa de IA.
A própria Anthropic considera baixo o risco atual
Isso merece destaque porque impede uma leitura alarmista.
Em avaliações recentes, a companhia continuou classificando como:
baixo
o risco catastrófico associado aos modelos atuais.
Ao mesmo tempo, reconhece que futuros modelos mais capazes podem apresentar problemas qualitativamente diferentes.
Portanto, existem duas afirmações simultaneamente:
os modelos atuais não representam, segundo a avaliação da empresa, um risco elevado de extinção humana;
e
a trajetória futura merece preparação porque capacidades podem evoluir rapidamente.
As duas coisas não são contraditórias.
O problema é que Hubinger diz que ainda não existe solução
Talvez a parte mais preocupante de sua manifestação não seja o número de 10%.
É outra:
a indústria ainda não possui uma solução garantida para alinhar uma eventual superinteligência.
Esse é o problema.
Empresas estão tentando construir sistemas progressivamente mais capazes enquanto algumas questões fundamentais de controle permanecem abertas.
É como desenvolver o motor enquanto ainda estudamos os freios
A analogia é imperfeita, mas ajuda.
Imagine uma indústria descobrindo como construir carros cada vez mais rápidos.
100 km/h.
200 km/h.
400 km/h.
1.000 km/h.
Ao mesmo tempo, engenheiros ainda estão tentando descobrir qual sistema de frenagem funcionará quando o veículo chegar a velocidades muito superiores.
Enquanto o carro é lento, o problema parece distante.
Quanto mais rápido ele fica:
mais urgente se torna o freio.
Essa é a lógica do argumento de segurança.
Mas existe outro lado do debate
Diminuir drasticamente o desenvolvimento de IA também pode possuir custos.
Sistemas avançados podem ajudar em:
medicina;
descoberta de medicamentos;
ciência;
energia;
educação;
produtividade;
clima;
engenharia.
Se uma IA extremamente avançada puder acelerar descobertas científicas, atrasar seu desenvolvimento também significa atrasar benefícios.
Por isso, a discussão não é simplesmente:
IA boa versus IA ruim.
É uma decisão sobre como equilibrar:
benefício;
velocidade;
risco;
controle.
Existe ainda a competição entre empresas
Anthropic não desenvolve IA sozinha.
Ela compete com:
OpenAI;
Google DeepMind;
Meta;
xAI;
laboratórios chineses;
outros desenvolvedores.
Isso cria um dilema.
Imagine que uma empresa considere perigoso lançar determinado modelo.
Se ela parar, mas todas as concorrentes continuarem:
o risco desapareceu?
Não.
Ela apenas deixou de ser a primeira.
Esse é o argumento da corrida
Cada laboratório pode pensar:
“se não construirmos, outro construirá.”
O resultado coletivo pode ser:
todos continuam acelerando.
É semelhante a outros problemas de coordenação internacional.
Cada participante possui incentivo individual para continuar.
Mas o resultado conjunto pode aumentar o risco para todos.
Coxon atacou exatamente essa lógica
O ex-pesquisador da Anthropic argumenta que decisões com consequências potencialmente civilizacionais não deveriam depender apenas da competição entre empresas privadas.
Ele defende maior:
coordenação;
regulação;
cooperação internacional.
Na visão dele, laboratórios deveriam estar preparados para desacelerar antes de alcançar sistemas capazes de autoaperfeiçoamento significativo.
Anthropic também defende mecanismos de coordenação
A empresa afirma publicamente que o setor poderia se beneficiar de mecanismos legais e verificáveis que permitam aos principais desenvolvedores coordenar o ritmo de lançamento de modelos extremamente poderosos.
A lógica é resolver o problema:
“não posso parar porque meu concorrente continuará.”
Se todos forem obrigados a obedecer determinados limites verificáveis, segurança deixa de representar uma desvantagem competitiva unilateral.
Mas regular superinteligência antes de ela existir é complicado
Como definir:
“modelo perigoso”?
Por número de parâmetros?
Quantidade de computação?
Benchmark?
Capacidade de hacking?
Autonomia?
Capacidade científica?
Nenhuma dessas métricas isoladamente resolve o problema.
Uma regulamentação mal desenhada pode rapidamente ficar ultrapassada.
Existe também risco de concentração de mercado
Regras extremamente caras podem ser facilmente cumpridas por empresas bilionárias.
Mas não por:
universidades;
startups;
pesquisadores independentes.
Nesse cenário, regulamentação criada para aumentar segurança poderia produzir outro efeito:
concentrar ainda mais o desenvolvimento de IA em poucas empresas.
Esse é um dos grandes dilemas da política pública.
Os alertas também enfrentam críticas
Há especialistas que consideram estimativas de extinção excessivamente especulativas.
Uma crítica recorrente é que falar constantemente sobre superinteligência pode desviar atenção de problemas concretos já existentes.
Outra é que empresas de IA podem se beneficiar indiretamente dessa narrativa.
Se uma companhia diz:
“nossa tecnologia poderá ficar tão poderosa que representa risco existencial”,
isso também comunica:
“nossa tecnologia será extraordinariamente poderosa.”
Por isso, críticos questionam se existe um componente de marketing ou construção de poder regulatório nessas discussões.
Coxon rejeita explicitamente essa interpretação
O ex-pesquisador afirma que os temores são genuínos.
Hubinger também reforçou publicamente que sua preocupação é real.
Isso não prova que suas previsões estejam corretas.
Mas significa que não devemos simplesmente assumir que pesquisadores estão fazendo declarações que não acreditam.
A questão correta é:
as premissas que sustentam essas previsões são plausíveis?
E isso ainda está em aberto
Ninguém sabe com segurança qual será a capacidade dos modelos em:
2027;
2028;
Previsões sobre IA possuem histórico de:
acertos;
erros;
surpresas.
Determinadas capacidades chegaram muito antes do esperado.
Outras permanecem muito mais difíceis do que previsões otimistas sugeriam.
Por isso, qualquer afirmação categórica deveria ser tratada com cautela.
O número de 10% não deveria ser interpretado literalmente demais
Existe uma maneira mais útil de interpretar a declaração de Hubinger.
Imagine um engenheiro dizendo que acredita existir:
10% de chance de uma ponte desabar.
Talvez ele esteja errado.
Talvez a chance verdadeira seja:
1%.
Ou:
0,1%.
Mas mesmo 0,1% pode ser alto demais dependendo da quantidade de pessoas sobre a ponte.
Esse é o argumento do risco existencial.
Probabilidade baixa multiplicada por impacto extremo
Em gestão de risco, uma fórmula simplificada é:
Risco = Probabilidade × Impacto.
Se o impacto potencial é pequeno, uma probabilidade elevada pode ser tolerável.
Se o impacto é:
extinção humana,
mesmo uma probabilidade muito menor do que 10% justificaria investigação séria.
A grande disputa, portanto, não é apenas sobre o número.
É sobre se o cenário é:
fisicamente e tecnologicamente plausível.
Não existe evidência de que uma IA esteja tentando exterminar humanos hoje
Isso precisa ficar absolutamente claro.
Não existe evidência pública de:
superinteligência autônoma;
IA controlando secretamente a sociedade;
modelo planejando extinção humana;
sistema capaz de melhorar indefinidamente a si próprio.
As preocupações são:
prospectivas.
Elas tentam antecipar problemas antes que determinados níveis de capacidade existam.
E esse é justamente o paradoxo da segurança
Se esperarmos uma catástrofe acontecer para provar que ela era possível:
a prevenção falhou.
Mas se investirmos pesadamente em uma catástrofe que nunca aconteceria:
podemos desperdiçar recursos ou criar restrições desnecessárias.
Política de risco sempre vive nesse equilíbrio.
Com inteligência artificial, o problema é ainda mais difícil porque a tecnologia está evoluindo muito rapidamente.
O debate deixou de ser marginal
Há alguns anos, discussões sobre IA extinguir a humanidade estavam concentradas em:
fóruns;
pesquisadores de segurança;
filósofos;
comunidades especializadas.
Hoje aparecem dentro dos maiores laboratórios de IA do mundo.
Executivos.
Pesquisadores.
Governos.
Legisladores.
Investidores.
A discussão migrou da periferia para o centro da indústria.
E a declaração de Hubinger é importante por quem a fez
Não estamos falando de alguém observando a indústria à distância.
Hubinger trabalha justamente com:
alinhamento de sistemas avançados.
É alguém cuja atividade profissional envolve tentar compreender e reduzir os riscos que está descrevendo.
Isso não transforma sua previsão em fato.
Mas torna sua avaliação relevante para o debate.
A pergunta de US$ trilhões
A humanidade está investindo quantidades extraordinárias de dinheiro para construir sistemas cada vez mais inteligentes.
Data centers.
Chips.
Energia.
Modelos.
Agentes.
Robótica.
Empresas competem para aumentar capacidades o mais rapidamente possível.
Mas talvez a pergunta mais importante não seja:
“quão inteligente conseguiremos tornar a IA?”
Pode ser:
“quando ela ficar muito mais inteligente, saberemos como mantê-la sob controle?”
Evan Hubinger acredita que ainda não temos uma resposta satisfatória.
Sua estimativa de mais de 10% de risco de extinção na próxima década pode estar:
certa;
errada;
ou profundamente errada.
Hoje ninguém consegue demonstrar matematicamente qual dessas opções é verdadeira.
Mas quando um dos pesquisadores responsáveis por estudar alinhamento dentro de uma das empresas mais avançadas do planeta diz que considera o risco dessa magnitude plausível, a discussão merece mais do que uma manchete assustadora.
Merece uma pergunta muito mais difícil:
até onde devemos acelerar uma tecnologia antes de compreender completamente como controlá-la?
