A lacuna não está no resumos / Ricardo Limongi
Um pesquisador abre o ChatGPT e cola cinco resumos. Pede um resumo dos achados. Em segundos, recebe um texto limpo, articulado, útil. Parece ganho de produtividade. Em alguns sentidos, é.
Mas algo se perdeu nesse gesto. E o que se perdeu não é trivial.
Um estudo publicado em 2025 na Royal Society Open Science analisou quase cinco mil resumos científicos gerados por dez modelos de linguagem, entre eles ChatGPT-4o, Claude 3.7 Sonnet, DeepSeek e LLaMA 3.3. Os pesquisadores compararam os resumos aos textos originais, em busca de um padrão específico: a generalização indevida. Quando o modelo transforma uma conclusão restrita em uma afirmação mais ampla do que os autores originalmente fizeram.
O achado preocupa. A maior parte dos modelos testados generaliza além do que o texto original permite. Em alguns casos, até 73% das vezes. Modelos mais novos, como o ChatGPT-4o e o LLaMA 3.3 70B, são piores nisso do que as versões anteriores. E quando os pesquisadores pediram explicitamente aos modelos que “não introduzissem imprecisões”, a taxa de generalização indevida dobrou.
#PesquisaCientífica #IA #Resumos
Disponível em: https://ricardolimongi.substack.com/p/a-lacuna-nao-esta-no-resumos
