Viés da IA generativa contra a novidade científica: um alerta a partir de uma avaliação de propostas de pesquisa com amostra reduzida / Scientometrics
Utilizando o GPT-4o, geramos decisões de financiamento baseadas em IA por meio de comparações pareadas dentro de cada área, agregadas em classificações por área, simulando um processo de seleção competitivo. As decisões de financiamento baseadas em IA coincidiram com as decisões humanas em 60% dos casos. A regressão logística condicional com efeitos fixos por área mostra que, entre as quatro dimensões de avaliação, a novidade é a única significativamente associada à discordância. Análises logit condicionais e multinomiais mostram, ainda, que a novidade prediz sistematicamente a direção da discordância. Propostas avaliadas como mais inovadoras por revisores humanos têm uma probabilidade substancialmente maior de serem financiadas por humanos e não pelo LLM. O padrão observado é consistente com uma tendência conservadora na avaliação baseada em LLMs, refletindo potencialmente a lógica estatística de previsão do próximo token (unidade de texto) treinada com base em produções científicas anteriores.
#Financiamento #LLMs #AvaliaçãoPorPares
Disponível em: https://link.springer.com/article/10.1007/s11192-026-05792-x
Deixe uma resposta