A Nvidia ampliou sua estratégia de inteligência artificial aberta com o lançamento do Nemotron 3.5 Lightning, modelo de 30 bilhões de parâmetros desenvolvido especialmente para executar tarefas de alto volume em sistemas de agentes de IA. Ao mesmo tempo, a companhia apresentou o NeMo Switchyard, uma biblioteca open source capaz de escolher automaticamente qual modelo deve atender cada etapa de uma tarefa.
A combinação tenta atacar um dos principais desafios da adoção de agentes autônomos nas empresas: como manter desempenho e qualidade sem utilizar modelos grandes — e caros — para absolutamente todas as solicitações.
Em testes apresentados pela Nvidia, a integração do Switchyard ao Devin Desktop, da Cognition, reduziu o custo médio em 28%, mantendo desempenho próximo ao de modelos de fronteira.
Nemotron 3.5 Lightning foi criado para agentes de IA
O Nemotron 3.5 Lightning é um modelo Mixture-of-Experts (MoE) de aproximadamente 30 bilhões de parâmetros.
Nesse tipo de arquitetura, diferentes grupos internos de parâmetros funcionam como “especialistas”. Em vez de ativar todo o modelo para processar cada token, apenas uma parcela da rede é utilizada conforme a tarefa.
Isso ajuda a reduzir a quantidade de computação necessária.
A Nvidia posiciona o Lightning principalmente como um modelo de execução dentro de arquiteturas compostas por vários agentes e modelos.
Um modelo mais poderoso pode, por exemplo, elaborar o plano de uma tarefa complexa, enquanto modelos menores assumem etapas como uso de ferramentas, revisão de código, monitoramento de alertas de segurança ou atendimento a solicitações rotineiras.
Nvidia promete até quatro vezes mais velocidade
Segundo a empresa, o Nemotron 3.5 Lightning pode entregar até quatro vezes mais velocidade de geração de saída e reduzir em aproximadamente 30% o tempo necessário para completar tarefas de agentes quando comparado a outros modelos de sua categoria.
É importante diferenciar as duas métricas.
A vantagem de até 4x está relacionada à velocidade de geração de saída, enquanto a redução de cerca de 30% considera o tempo para concluir uma tarefa completa.
Um agente não passa todo o tempo apenas gerando tokens. Ele também consulta ferramentas, espera respostas externas, verifica resultados e transfere informações entre diferentes etapas.
Por isso, aumentar a velocidade do modelo não significa necessariamente reduzir na mesma proporção o tempo total de execução.
O que é o NeMo Switchyard?
Talvez a parte mais estratégica do anúncio esteja no NeMo Switchyard.
A biblioteca open source funciona como uma espécie de controlador de tráfego para modelos de IA.
Quando uma solicitação chega, o sistema pode decidir automaticamente qual modelo apresenta a melhor combinação entre:
- qualidade;
- velocidade;
- custo;
- complexidade da tarefa.
A ferramenta não fica restrita aos modelos da própria Nvidia. Segundo a companhia, desenvolvedores podem criar sistemas combinando modelos abertos, proprietários e modelos Nvidia.
Isso abre espaço para arquiteturas nas quais diferentes provedores trabalham simultaneamente dentro de uma mesma aplicação.
Por que usar vários modelos?
A lógica é relativamente simples: nem toda pergunta precisa do modelo mais poderoso disponível.
Imagine um agente corporativo responsável por analisar documentos, responder e-mails, consultar sistemas internos, escrever código e elaborar relatórios.
Utilizar um modelo de fronteira em todas essas etapas pode elevar consideravelmente os custos.
O Switchyard permite que solicitações mais simples sejam encaminhadas para modelos menores e rápidos, enquanto problemas complexos podem ser enviados para sistemas mais sofisticados.
É uma estratégia semelhante à distribuição inteligente de cargas utilizada há décadas em infraestrutura de computação — agora aplicada aos modelos de IA.
Cognition reduziu custo médio em 28%
Um dos exemplos divulgados pela Nvidia envolve a Cognition, empresa responsável pelo agente de desenvolvimento de software Devin.
A companhia integrou uma configuração do NeMo Switchyard ao Devin Desktop utilizado internamente pela Nvidia.
Segundo os resultados apresentados, o sistema alcançou desempenho próximo ao nível de modelos de fronteira no benchmark FrontierCode Main enquanto registrou redução de 28% no custo médio, em comparação com o envio de todas as solicitações para um único modelo de fronteira.
O dado ajuda a demonstrar o potencial econômico do roteamento inteligente, embora seja importante destacar que se trata de resultado divulgado no contexto dos testes e parceiros da própria Nvidia.
Outros testes indicaram economias ainda maiores
A Nvidia também apresentou resultados obtidos por outros parceiros.
A Classmethod relatou redução inicial de 27% nos custos mantendo a qualidade. A Ramp informou corte de 58% nos custos e 33% no tempo de execução em seu teste baseado no SWE-Bench.
Um caso particularmente significativo veio do LangChain.
Utilizando o Switchyard em 145 tarefas multi-turno de Deep Agents, a empresa informou redução de 74% nos custos, encaminhando apenas 7% das chamadas para um modelo de fronteira. Houve, porém, uma contrapartida: queda de 6% na precisão.
Esse resultado ilustra justamente o principal desafio desse tipo de arquitetura: encontrar o equilíbrio adequado entre economia e qualidade.
Nvidia diz que custo pode cair para cerca de um terço
Em benchmarks internos, a Nvidia afirma que o Switchyard conseguiu manter precisão em nível de modelos de fronteira enquanto reduzia o custo de conclusão das tarefas para aproximadamente um terço do custo de utilizar somente o Opus 4.8.
Novamente, são benchmarks internos e o resultado não deve ser interpretado como uma redução garantida para qualquer aplicação.
A economia depende da natureza das solicitações, modelos disponíveis, estratégia de roteamento, preços das APIs e nível de qualidade exigido.
Modelo aberto permite personalização
Outro diferencial do Nemotron 3.5 Lightning é sua distribuição aberta.
A Nvidia afirma que organizações podem realizar pós-treinamento do modelo utilizando seus próprios dados, ferramentas e fluxos de trabalho por meio do NVIDIA NeMo.
Isso pode ser especialmente interessante para setores que trabalham com informações sensíveis ou domínios altamente especializados.
Entre os exemplos apresentados pela empresa estão cibersegurança, desenvolvimento de software, serviços jurídicos e ciências.
Empresas como CrowdStrike, Harvey, CodeRabbit e Fastino Labs estão entre as organizações citadas pela Nvidia como participantes ou usuárias de personalizações do modelo.
IA pode funcionar localmente
O modelo também foi desenvolvido com foco em flexibilidade de infraestrutura.
Segundo a Nvidia, o Nemotron 3.5 Lightning pode funcionar desde computadores equipados com GPUs RTX e dispositivos Jetson até estações DGX, data centers e ambientes de nuvem.
Isso permite que determinadas organizações mantenham cargas de trabalho localmente ou dentro de sua própria infraestrutura.
Para empresas que lidam com dados confidenciais, essa possibilidade pode ser tão importante quanto a economia de tokens.
Executar um modelo internamente pode reduzir a necessidade de enviar determinadas informações para serviços externos, embora a segurança e privacidade finais continuem dependendo da arquitetura adotada pela organização.
A disputa da IA começa a mudar de foco
O lançamento também evidencia uma transformação no mercado.
Durante boa parte da corrida da IA generativa, o debate esteve concentrado em qual empresa possuía o modelo mais poderoso.
Com o avanço dos agentes, outra pergunta começa a ganhar importância:
qual é o modelo mais adequado para cada etapa?
Um agente funcionando continuamente pode realizar milhares de pequenas operações. Utilizar o modelo mais sofisticado disponível para todas elas pode ser economicamente inviável.
Nesse cenário, modelos menores especializados passam a ter papel complementar aos grandes modelos de raciocínio.
Roteadores podem virar peça central da infraestrutura de IA
O Switchyard representa justamente essa mudança.
Se empresas começarem a utilizar dezenas de modelos simultaneamente, decidir automaticamente quando usar cada um deles passa a ser uma camada essencial da infraestrutura.
O roteador deixa de ser apenas uma otimização e pode se transformar em parte central da arquitetura de agentes.
Essa abordagem também reduz, em alguma medida, a dependência de um único fornecedor.
Uma aplicação pode trabalhar com diferentes modelos e substituir determinados componentes conforme custo, desempenho ou disponibilidade.
Nvidia quer ocupar também a camada de software
A estratégia tem ainda outro significado para a Nvidia.
A companhia domina grande parte da infraestrutura computacional utilizada para treinar e executar inteligência artificial, mas vem ampliando sua presença na camada de software.
Com Nemotron, NeMo e Switchyard, a empresa tenta ocupar uma posição mais ampla na pilha tecnológica da IA.
O objetivo não é apenas fornecer as GPUs que executam os modelos, mas também ferramentas responsáveis por treinar, personalizar, executar e agora decidir qual modelo deve trabalhar em cada momento.
IA mais barata pode significar mais uso de infraestrutura
Há ainda uma dinâmica econômica importante.
Se ferramentas como Switchyard reduzirem significativamente o custo de executar agentes, empresas podem aumentar o número de aplicações baseadas em IA.
Isso significa que eficiência não necessariamente representa menor demanda total por computação.
Agentes mais baratos podem levar organizações a executar muito mais tarefas automatizadas — aumentando o volume geral de inferência.
Para uma empresa cuja principal atividade está ligada à infraestrutura computacional da IA, essa expansão é estrategicamente relevante.
Um novo estágio para os agentes autônomos
O Nemotron 3.5 Lightning e o NeMo Switchyard mostram que a próxima etapa da inteligência artificial empresarial pode não depender de um único modelo gigantesco.
A tendência aponta para sistemas compostos por vários modelos especializados, coordenados dinamicamente conforme custo, velocidade e complexidade.
Para empresas brasileiras avaliando agentes de IA, o lançamento também serve de referência para uma questão cada vez mais importante: o custo real não depende apenas do preço de um modelo, mas de como cada chamada é distribuída dentro da arquitetura.
Se o roteamento inteligente amadurecer, escolher o modelo certo para cada tarefa poderá se tornar tão importante quanto escolher o próprio modelo.
