Ferramentas de inteligência artificial capazes de gerar textos em linguagem natural estão cada vez mais presentes em atividades do cotidiano, da produção científica à administração pública. No entanto, apesar da fluência das respostas, esses sistemas ainda podem produzir informações incorretas, contraditórias ou sem fundamento nos dados fornecidos.
Para enfrentar esse desafio, um projeto desenvolvido na Universidade Federal do Amazonas (UFAM) busca criar métodos automáticos para avaliar a confiabilidade das respostas geradas por modelos de linguagem. eles investigam o uso de Inferência em Linguagem Natural (Natural Language Inference – NLI), uma técnica que permite analisar a relação lógica entre dois textos.
Coordenada pelo professor Altigran Soares da Silva, vice-coordenador do INCT TILDIAR, o projeto tem participação do professor Edleno Moura, além das pesquisadora Livy Real, Valéria de Paiva (Topos Institute) e da professora Fabiana Avais (UEPG).
A proposta parte da hipótese de que erros e as chamadas “alucinações” dos modelos de linguagem podem ser detectados por meio de relações semânticas básicas. A técnica de NLI classifica a relação entre um texto-fonte e uma resposta gerada, em três condições:
– Acarretamento, quando a resposta é sustentada pelo texto original;
– Contradição, quando apresenta informações incompatíveis;
– Neutralidade, quando adiciona conteúdos não comprovados pelos dados disponíveis.
Uma das principais atividades do projeto é a construção de um conjunto de dados especialmente desenvolvido para essa tarefa.
Este dataset reunirá textos fornecidos aos modelos de IA, as respostas produzidas e as respectivas classificações de inferência em linguagem natural. Além de apoiar os experimentos da pesquisa, a base de dados será disponibilizada de forma aberta para a comunidade científica.
Os pesquisadores esperam com isso que os resultados contribuam para o desenvolvimento de sistemas automáticos de verificação capazes de aumentar a segurança e a transparência no uso de modelos de linguagem em contextos sensíveis, como o direito, a ciência e a gestão pública.
A longo prazo, a iniciativa pretende lançar as bases para a criação de um verificador lógico universal para sistemas de inteligência artificial.
Ao combinar linguística computacional, inteligência artificial e raciocínio lógico, o projeto busca enfrentar um dos principais desafios atuais da IA generativa: garantir que respostas aparentemente corretas também sejam confiáveis.
