EFETIVIDADE DE UM MÉTODO ASSISTIDO POR LLMS COMO APOIO À TRIAGEM DE TRABALHOS EM REVISÃO DE LITERATURA

Resumo

Este trabalho avalia a efetividade de um método assistido por modelos de linguagem de grande escala (LLMs) para a triagem de trabalhos em procedimento simulado de revisão de literatura. O estudo foi conduzido a partir de um corpus de 69 registros recuperados no Portal Oasisbr a partir de uma busca booleana sobre o tema “uso de inteligência artificial no monitoramento do desmatamento e na preservação florestal na região amazônica”. Os registros foram classificados por consenso pelos autores nas categorias Incluir, Reavaliar e Excluir, sendo a classificação adotada como referência para avaliar quatro modelos atuais de LLM, sendo dois proprietários (Gemini 3.1 Flash Lite e Claude Haiku 4.5) e dois abertos (Llama 3.1 8B e Qwen 3 14B). A avaliação considerou medidas de concordância, por meio do Kappa de Cohen, e de utilidade prática, por meio do recall da categoria Manter e do Work Saved over Sampling at Recall R (WSS@R). Os resultados indicam que Gemini, Claude e Qwen apresentaram concordância moderada com a classificação de referência humana, enquanto o Llama apresentou desempenho mais fraco e maior tendência de incluir trabalhos. O Gemini obteve o melhor resultado como pré-filtro, com recall de Manter de 100% e WSS@R de 31,9%. Conclui-se que LLMs podem apoiar a triagem preliminar e reduzir a carga de leitura, desde que utilizados sob supervisão humana.