Uma pesquisa conduzida por cientistas da Universidade de Stanford revelou que 44% de 50 conclusões sobre modelos de inteligência artificial não se sustentaram em novos testes.
O levantamento chama a atenção para a velocidade com que a tecnologia evolui e para os desafios de avaliar o desempenho de sistemas que passam por atualizações frequentes.
Ao reexaminar conclusões anteriores, os pesquisadores identificaram diferenças que podem comprometer a validade de determinadas afirmações sobre capacidades e limitações dos modelos.
O resultado indica que avaliações realizadas em um momento específico nem sempre continuam representando o comportamento dos sistemas após mudanças em suas versões ou condições de utilização.
A descoberta também levanta questionamentos sobre a utilização de testes de desempenho, conhecidos como benchmarks, para comparar ferramentas de inteligência artificial.
Essas avaliações são frequentemente utilizadas por empresas, pesquisadores e desenvolvedores para medir capacidades como raciocínio, programação e interpretação de informações.
O estudo reforça a necessidade de avaliações contínuas, metodologias transparentes e testes reproduzíveis, especialmente quando os resultados são utilizados para orientar decisões empresariais.
O percentual de 44% não significa que os modelos de IA erraram em 44% das respostas. Ele se refere às conclusões reavaliadas pelos pesquisadores.
