Jornalistas científicos acham que o ChatGPT é ruim para resumir artigos científicos (mas será que é mesmo?) / The Distant Librarian
Conforme relatado pela Ars Technica , com muitos mais detalhes no White Paper (PDF) escrito pela equipe do Science Press Package, SciPak. Não tenho motivos para duvidar das conclusões, mas tomo nota das ressalvas que aparecem no próprio artigo…
Os prompts utilizados pelos avaliadores estão listados no apêndice do artigo (pág. 9) e são uma boa ilustração de como se deve escrever um prompt se se busca um tipo específico de resposta. Infelizmente, o artigo não indica se os resultados daquele prompt mais específico foram, em geral, melhores do que os menos específicos.
Acho importante fazer seus próprios testes, porque uma das maneiras pelas quais vemos estudantes, especialmente, usarem LLMs é exatamente para esse propósito: resumir trabalhos mais longos e difíceis. Se os resumos estiverem errados, isso é obviamente preocupante, mas se estiverem certos, mas não se adequarem a um estilo específico, isso é muito menos preocupante, na minha humilde opinião, e poderia ser corrigido com melhores orientações.
#DivulgaçãoCientífica #ChatGPT
via The Distant Librarian
Disponível em: https://distlib.pival.me/science-journalists-find-chatgpt-is-bad-at-summarizing-scientific-papers-but-are-they-really/
Deixe uma resposta