Avaliação da RAG para coleções pessoais: arquitetura, modelos e critérios / JList.it
A estrutura proposta combina métricas automáticas, abordagens de LLM como avaliador (*LLM-as-a-judge*) e processos com participação humana (*human-in-the-loop*), tratando as divergências entre a avaliação automatizada e o julgamento de especialistas como ferramentas de diagnóstico para analisar o comportamento do sistema. Resultados preliminares indicam que categorias fundamentais da mediação documental — como relevância, completude, citabilidade e transparência — não podem ser totalmente reduzidas a parâmetros computacionais; em vez disso, exigem uma negociação contínua entre modelos automatizados e o conhecimento especializado da área. Nessa perspectiva, o RAG é concebido como um objeto de pesquisa epistemicamente instável, cuja confiabilidade e governabilidade dependem da robustez e da reflexividade dos processos de avaliação incorporados ao seu desenvolvimento.
#RAG #RecuperaçãoDaInformação
Disponível em: https://www.jlis.it/index.php/jlis/article/view/735
Deixe uma resposta