Pesquisadores apresentaram 6.000 trabalhos em um grande congresso. A IA conseguiria reproduzir suas descobertas? / Science
O hackathon, organizado pelas plataformas de computação e pesquisa Hugging Face e alphaXiv, propôs uma questão ambiciosa: agentes de IA podem tornar possível a verificação de trabalhos científicos em uma escala cada vez mais impossível para revisores humanos? Em outras palavras, se fornecidos os dados, o código e os métodos de um artigo, a IA pode reproduzir os experimentos de forma independente e chegar aos mesmos resultados?
A competição foi a maior tentativa até o momento de usar IA para replicar artigos apresentados em uma grande conferência técnica . Muitos dos participantes, como Tang, não são especialistas em IA por formação. Mesmo assim, eles analisaram mais de 2.000 artigos e descobriram centenas de resultados que os agentes de IA não conseguiram reproduzir ou consideraram sem respaldo em evidências, incluindo 21 dos assistentes de Tang. Até o momento, os organizadores do hackathon confirmaram que pelo menos uma dúzia de artigos contém erros reais que passaram despercebidos pelos revisores humanos da conferência.
#IA #Ciência #AvaliaçãoDaCiência
via Science
Disponível em: https://www.science.org/content/article/researchers-presented-6000-papers-major-meeting-could-ai-reproduce-their-findings
Deixe uma resposta