Grandes modelos de linguagem (LLMs) já alcançam desempenho elevado em tarefas como programação, tradução e raciocínio. Ainda assim, eles têm dificuldade para reconhecer quando uma pesquisa realmente combina conhecimentos de diferentes áreas do conhecimento.
A conclusão é de um estudo desenvolvido por pesquisadores do Instituto Federal de Educação, Ciência e Tecnologia de Goiás (IFG), em parceria com cientistas da Queen’s University e do National Research Council Canada.
“IDRBench: Understanding the Capability of Large Language Models on Interdisciplinary Research” é o título do artigo produzido pela equipe, e que será apresentado na International Conference on Machine Learning (ICML 2026), realizada de 6 a 11 de julho, em Seul, na Coreia do Sul.
Para enfrentar esse desafio, foi desenvolvido o IDRBench, primeiro benchmark criado para avaliar o desempenho de LLMs em pesquisa interdisciplinar. Um benchmark é um conjunto padronizado de testes, usado para comparar algoritmos sob as mesmas condições.
Na prática, além de avaliar o desempenho de um hardware específico, a aplicação também permite comparar componentes de diferentes modelos e marcas de forma objetiva. Para isso, pode medir três capacidades dos LLMs: reconhecer pesquisas interdisciplinares, integrar conhecimentos de diferentes áreas e recomendar novas ideias de investigação científica
Segundo o professor da IFG Daniel Xavier de Sousa (foto), um dos autores do estudo, “embora os modelos de linguagem tenham evoluído rapidamente, até o nosso trabalho, ainda não existia uma forma padronizada de medir seu desempenho em tarefas de pesquisa interdisciplinar”, afirma.
Daniel também é pesquisador do Instituto Nacional de Ciência e Tecnologia em Inteligência Artificial Responsável para Linguística Computacional, Tratamento e Disseminação de Informação (INCT TILDIAR).
Autores consideram que o IDRBench estabelece uma referência importante para a área de AI for Science,
Base reúne mais de 32 mil publicações
Os cientistas construíram um corpus com 1.014 artigos, anotados manualmente, e outros 31.437 exemplos sintéticos, obtidos a partir de publicações de seis áreas do conhecimento disponíveis no ArXiv, uma plataforma distribuidora de artigos científicos de diversas áreas.
Nove pesquisadores participaram da curadoria dos dados, enquanto também foram avaliados dez modelos de assistentes de Inteligência artificial das famílias GPT, Gemini, Claude, Llama, Qwen e DeepSeek.
Os testes das IAs incluíram três tarefas: i) reconhecer pesquisas interdisciplinares, ii) integrar conceitos de artigos distintos para propor novas ideias e iii) recomendar trabalhos relevantes. Além das métricas automáticas, as respostas também foram avaliadas por especialistas, que analisaram clareza, coerência e relevância científica.
Resultados revelam desafios
Os modelos conseguiram produzir integrações coerentes entre artigos científicos. Entretanto, apresentaram dificuldades para diferenciar pesquisas genuinamente interdisciplinares de combinações plausíveis entre estudos da mesma área. Quando essa distinção se tornou mais sutil, o desempenho caiu em todos os sistemas avaliados.
Outro resultado chamou a atenção dos pesquisadores. Modelos especializados em raciocínio estruturado nem sempre obtiveram os melhores resultados. Segundo os autores, o treinamento voltado para reasoning pode torná-los mais conservadores e reduzir sua disposição para estabelecer conexões criativas entre diferentes campos do conhecimento.
A avaliação humana reforçou essa conclusão. Embora as respostas fossem, em geral, claras e tecnicamente corretas, muitas integrações não representavam contribuições científicas realmente interdisciplinares.
Próximos passos
Os autores consideram que o IDRBench estabelece uma referência para avaliar sistemas de AI for Science, área que busca acelerar descobertas científicas com inteligência artificial. medir com precisão o desempenho dos modelos em tarefas complexas é essencial para desenvolver sistemas mais confiáveis.
O conjunto de dados ainda será ampliado para incluir novas disciplinas e repositórios científicos. Além disso, os experimentos indicam que ele também pode servir para treinar modelos especializados nesse tipo de tarefa.
Além de Daniel de Sousa, o estudo tem como autor Ricardo Marçal de Andrade Nascimento, então aluno do IFG.
O INCT TILDIAR tem compromisso com a avaliação e o desenvolvimento de inteligência artificial responsável.
