Fazendo Mais com Menos em Contextos Multimodais: extensão do modelo de seleção de instâncias e RAG-Labels para os datasets multimodais da ReINVenTA à luz da tarefa de rotulação semântica de imagens

A proposta ora apresentada tem por objetivo recrutar discente de graduação da área de Ciência da Computação para atuar em um projeto de pesquisa com duração de 12 meses, a ser desenvolvido no âmbito do INCT TILD-IAR, sob a supervisão dos professores Tiago Torrent, Adriana Pagano e Marcos Gonçalves. Tem como principal objetivo estender os modelo de seleção de instâncias, desenvolvido por Cunha et al. (2025), e o modelo de RAg-Labels desenvolvido por França et al (2025), para o contexto dos datasets multimodais da ReINVenTA––Research and Innovation Network for Vision and Text Analysis–– à luz de uma tarefa de rotulação semântica de imagens. Os referidos datasets (Belcavello et al., 2024; Viridiano et al., 2024; Gamonal et al., 2025) destacam-se pela alta granularidade das categorias semânticas empregadas na anotação dos textos em imagens que os compõem, bem como pela alta dimensionalidade das categorias possíveis para anotação. Como resultado, o treinamento de modelos de rotulação semântica de imagens com base nos referidos datasets apresenta um grande desafio. Nesse contexto, as técnicas de seleção de instâncias e de classificação baseada em RAG-Labels apresentam-se como uma alternativa a ser explorada na resolução do problema.

Novas técnicas de engenharia de dados e IARS que promovam avanço científico e tecnológico com recursos racionais, fomentando sustentabilidade e competitividade

 Universidade Federal de Juíz de Fora (UFJF)