Estudo aponta: IA acerta a gramática, mas multiplica citações falsas e conteúdos plausíveis

Um estudo da plataforma editorial italiana Libreriamo, analisado em anteprima dall'AGI, mostra que a inteligência artificial continua a funcionar como um alicerce técnico confiável para a forma — sobretudo a gramática italiana —, mas revela fragilidades importantes quando se trata do conteúdo cultural e histórico. A pesquisa, baseada em quase 1.500 interações com sistemas generativos amplamente usados, aponta que, na prática, as máquinas frequentemente entregam o que parece correto, não o que é verificavelmente verdadeiro.

Os números do estudo deixam claro esse descompasso: em média, cerca de 38% das respostas foram consideradas corretas e verificáveis; 44% caem na categoria de conteúdos plausíveis, ou seja, convincentes mas sem respaldo nas fontes; e 19% apresentaram erros evidentes ou atribuições falsas. Em outras palavras, a sintaxe está intacta, mas o valor informacional é incerto.

Ao olhar por domínio cultural, a instabilidade aumenta. Na literatura apenas 35% das respostas foram plenamente corretas, 45% plausíveis e 20% erradas. Na poesia, a correção desce a 30% enquanto a plausibilidade sobe para 50% — metade dos resultados, portanto, não é verificável apesar de soar legítima.

Os livros em geral mostraram 25% de respostas corretas, 59% plausíveis e 16% de erros. Mas é nas citações de autor e nas máximas filosóficas que o fenômeno se intensifica: nas citações, apenas 15% das respostas foram corretas, 62% plausíveis e 23% atribuídas de maneira errada; na filosofia, 13% corretas, 65% plausíveis e 22% falsas. As obras de arte ocupam uma posição intermediária, com 38% de correção, 42% de plausibilidade e 20% de falsificação.

O panorama revela uma tendência: os modelos não costumam reproduzir fielmente o texto fonte, mas reconstruções coerentes do que um autor poderia ter escrito. Essa reconstrução opera como uma camada de síntese — um algoritmo como infraestrutura que atua sobre o fluxo de dados cultural, simplificando complexidades e tornando o conteúdo mais palatável, porém menos fiável.

Os autores do estudo simularam pedidos típicos de estudantes, leitores e divulgadores ao longo de um ano, usando as plataformas mais utilizadas pelo público — ChatGPT, Gemini, Claude — e o diagnóstico é unânime: ninguém se salva completamente quando a pergunta exige precisão cultural e filológica.

As implicações são práticas e imediatas. Em um ecossistema em que o conhecimento alimenta decisões educacionais, editoriais e culturais, essa mistura de verossimilhança com imprecisão compromete a confiança informativa. Do ponto de vista da infraestrutura informacional, estamos diante de um sistema nervoso que transmite mensagens claras (boa gramática) mas ocasionalmente gera sinais falsos (citações e atribuições erradas).

Recomendações diretas: verificar fontes primárias, evitar assumir que uma frase atribuída a um autor é autêntica sem checagem, e integrar ferramentas de fact-checking nos fluxos editoriais. Para bibliotecas, escolas e cidades inteligentes que dependem de camadas de inteligência para divulgar cultura, a recomendação é tratar as respostas de IA como rascunhos de alto nível — úteis para síntese, perigosos como referência final.

Em resumo, a inteligência artificial demonstra capacidades notáveis na forma; na substância, entretanto, ainda opera em grande parte sobre probabilidades e modelos de plausibilidade. Até que os sistemas se conectem de forma robusta a repositórios verificáveis e incorporem processos de validação, o uso público e institucional das respostas geradas deve vir acompanhado de práticas de verificação tão rigorosas quanto as usadas nas infraestruturas críticas.