Estudo revela: IA acerta gramática, mas falha em citações — 44% de respostas são plausíveis e 19% são falsas

Um estudo da plataforma editorial italiana Libreriamo, consultado em primeira mão pela AGI, traça um diagnóstico claro: as inteligência artificial modernas mostram bons resultados na forma — em especial na Gramática italiana —, mas vacilam quando a tarefa exige vínculo com textos, contextos e proveniência documental.

Foram analisadas quase 1.500 interações com modelos amplamente usados pelo público, como ChatGPT, Gemini e Claude, ao longo de aproximadamente um ano. O resultado estatístico é contundente: em média 38% das respostas são corretas e verificáveis, 44% são consideradas plausíveis — isto é, convincentes, bem redigidas, mas sem confirmação nas fontes — e 19% apresentam erros evidentes ou atribuições falsas.

Quando se decompõe a amostra por áreas culturais, as fragilidades ficam mais nítidas. Na literatura, apenas 35% das respostas são plenamente corretas; 45% são plausíveis e 20% são errôneas. Na poesia, a correção cai para 30% enquanto a plausibilidade sobe para 50%: metade das respostas parecem aceitáveis, mas não é possível verificá-las contra um texto original.

Os dados sobre livros (opere librarie) mostram um quadro ainda mais inclinado para a plausibilidade: 25% corretas, 59% plausíveis e 16% erradas. Obras de arte ficam em posição intermediária, com 38% de correção, 42% de plausibilidade e 20% de falsos de autor.

O ponto mais sensível é o das citações de autor e das máximas filosóficas, onde o mecanismo de reconstrução do texto se mostra particularmente arriscado: as respostas plausíveis superam sistematicamente o limite de 60% — 62% nas citações e 65% na filosofia — enquanto a correção realiza-se apenas em 15% e 13% dos casos, respectivamente. As atribuições falsas atingem 23% nas citações e 22% na filosofia.

Em termos práticos, isso significa que os sistemas de IA frequentemente entregam não o que foi efetivamente escrito, mas o que poderia ter sido escrito: uma releitura consistente com a imagem pública do autor, porém desconectada do texto original. A gramática, a estrutura e a fluidez — os alicerces visíveis — são, na maior parte das vezes, preservados; a profundidade, a complexidade e a proveniência das ideias — o sistema nervoso invisível —, nem sempre.

Do ponto de vista de quem usa IA para fins educacionais, jornalísticos ou de divulgação, o alerta é prático: há um risco real de espalhar citações falsas ou de apoiar-se em enunciados não verificáveis. O estudo simula cenários reais de utilização — solicitantes que são estudantes, leitores e divulgadores — e demonstra que a plausibilidade textual pode mascarar falta de fundamento.

Para além do diagnóstico, a implicação sistêmica é clara: precisamos de camadas adicionais de verificação e de metadados que ancorem os fluxos de dados produzidos por IA à documentação primária. Em termos de política pública e tecnologia aplicada, isso implica investir em mecanismos de rastreabilidade, treinar modelos com foco em proveniência e melhorar interfaces que sinalizem incertezas.

Em suma, as ferramentas que sustentam o discurso cultural das nossas cidades digitais mostram-se robustas na forma — a ortografia e a sintaxe estão muitas vezes corretas —, mas frágeis na verificação factual. Para quem vive na Itália e na Europa, o conselho é pragmático: use as IAs como assistente de estilo e síntese, mas confirme sempre as citações e as referências nas fontes primárias.