Pesquisa do ICMC-USP compara fake news escritas por humanos e produzidas por inteligência artificial, analisa diferenças linguísticas e testa modelos capazes de reconhecer a origem dos textos com desempenho elevado em condições experimentais.
Pesquisadores da Universidade de São Paulo (USP) desenvolveram um método de inteligência artificial capaz de distinguir notícias falsas escritas por pessoas daquelas produzidas por modelos generativos. Nos testes realizados com textos em português brasileiro, abordagens neurais ultrapassaram 99% na métrica F1, usada para avaliar o desempenho de classificadores.
A pesquisa foi conduzida no Instituto de Ciências Matemáticas e de Computação (ICMC), em São Carlos, e divulgada pelo Jornal da USP nesta sexta-feira (23).
O trabalho não cria, porém, um detector capaz de dizer se qualquer notícia é verdadeira ou falsa. Os conteúdos utilizados no experimento já eram classificados como fake news.
-
Astrônomos identificam primeira estrela verde já documentada, a 280 anos-luz da Terra, após sódio alterar sua cor
-
USP cria sistema com realidade virtual que monitora cérebro e olhos para detectar sinais precoces de perda de memória e demência
-
Cientistas modificam DNA no corpo humano pela primeira vez com prime editing e tentam corrigir doença genética que ataca o fígado
-
Nvidia se une a Nobel de Química e cria IA que projeta proteínas até 10 vezes mais rápido para novos medicamentos e materiais
O objetivo dos pesquisadores foi responder a outra questão: identificar se aquele texto falso havia sido escrito por um ser humano ou gerado por inteligência artificial.
A pesquisa faz parte do mestrado de Pedro Lucas Castro de Andrade, sob orientação do professor Thiago Alexandre Salgueiro Pardo. Renato Moraes Silva também assina o artigo científico. Os três pesquisadores estão ligados ao Núcleo Interinstitucional de Linguística Computacional (NILC), do ICMC-USP.
O estudo, intitulado Separating Human from Machine: Deep Linguistic Analysis and Automatic Classification of Fake News in Brazilian Portuguese, foi apresentado na 25ª Conferência Internacional sobre Inteligência Artificial (EPIA), realizada em Portugal entre os dias 2 e 4 de setembro de 2026.
Estudo comparou mais de 10 mil textos falsos
Para desenvolver o experimento, os pesquisadores trabalharam com 10.782 documentos. Metade deles, 5.391, correspondia a notícias falsas escritas por humanos. A outra metade reunia versões geradas por inteligência artificial sobre os mesmos temas, permitindo uma comparação direta entre os dois tipos de produção textual.
Os textos humanos vieram das bases Fake.br e FakeTrueBR, conjuntos de dados já utilizados em pesquisas sobre desinformação em português brasileiro. As versões sintéticas foram produzidas com o Sabiá-3, grande modelo de linguagem desenvolvido pela brasileira Maritaca AI.
Dessa forma, cada notícia humana pôde ser comparada com uma versão equivalente criada pela máquina.
A análise não ficou restrita à escolha das palavras. Os pesquisadores examinaram diferentes camadas da linguagem, incluindo vocabulário, estrutura sintática, características semânticas, coesão, complexidade textual e indicadores psicolinguísticos.
Dentro do conjunto estudado, surgiram diferenças entre a produção humana e a artificial. Os textos escritos por pessoas apresentaram, de forma geral, maior variabilidade de estilo, uso mais frequente de vocabulário concreto e acessível e transições semânticas menos uniformes.
Os conteúdos gerados por máquina mostraram maior presença de palavras abstratas e sofisticadas, estruturas mais formais e progressão semântica mais regular.
Isso não significa que essas características permitam reconhecer visualmente todo texto produzido por uma IA. Os padrões foram encontrados dentro das bases e das condições utilizadas no estudo e serviram como sinais para os classificadores computacionais.
Entre as características analisadas, um dos sinais de maior peso para determinado modelo foi a proporção de verbos no presente do indicativo. Também tiveram importância elementos como quantidade média de frases por parágrafo, número de orações por sentença, proporção de entidades nomeadas e complexidade das palavras.
Modelo BERTimbau alcançou 99,95% na métrica F1
Depois dessa caracterização linguística, os pesquisadores testaram diferentes técnicas para classificar automaticamente os textos.
O melhor resultado foi obtido pelo BERTimbau, modelo treinado especificamente para português, após ajuste para a tarefa. Ele alcançou 99,95% de F1, com um erro em um conjunto de 2.158 amostras utilizado naquela avaliação.
Outras abordagens também apresentaram resultados elevados. O BERT multilíngue chegou a 99,77% de F1, enquanto combinações envolvendo características linguísticas e algoritmos como XGBoost chegaram a 99,86%.
Métodos estatísticos utilizando representação TF-IDF também superaram 99% em algumas configurações.
A métrica F1, no entanto, não deve ser confundida diretamente com uma afirmação de que o sistema possui “99,95% de precisão” para qualquer conteúdo encontrado na internet. Ela combina duas medidas utilizadas na avaliação de classificadores — precisão e revocação — e o resultado se refere às condições e aos conjuntos de dados empregados pelos pesquisadores.
Uma divulgação anterior do ICMC, publicada em setembro, informou 98% de precisão em uma primeira rodada de experimento. O dado não invalida os resultados posteriores acima de 99%, pois as publicações tratam de métricas, configurações e etapas experimentais diferentes.
Resultado ainda não pode ser generalizado para toda a internet
Os próprios autores apontam limitações que impedem a generalização dos números. O estudo analisou textos artificiais produzidos somente pelo Sabiá-3, a partir de um protocolo específico de geração, e utilizou duas bases de notícias falsas em português brasileiro.
Ainda não é possível afirmar que o mesmo desempenho seria repetido com textos de outros modelos, técnicas diferentes de criação de conteúdo ou tentativas deliberadas de enganar o detector.
Essa questão tende a ganhar importância à medida que os modelos generativos mudam. O próprio artigo científico observa que, conforme as IAs evoluem e técnicas de prompt mais sofisticadas são utilizadas para reproduzir estilos humanos, alguns dos sinais linguísticos empregados atualmente podem perder eficiência, exigindo adaptação contínua das ferramentas de detecção.
Por enquanto, o método permanece como prova de conceito. Segundo Thiago Pardo, ainda não existe um programa disponível ao público baseado na pesquisa.
O grupo pretende verificar se os resultados continuam elevados com outros conjuntos de dados, outros grandes modelos de linguagem e estratégias construídas especificamente para tentar confundir os classificadores.
O trabalho integra o projeto Synestech.AI, que reúne pesquisas em áreas como processamento de linguagem natural, visão computacional e processamento de imagens. Na frente dedicada à linguagem, participam mais de 80 pesquisadores de instituições brasileiras, entre elas USP, Unesp, UFSCar, UFAL, UFS, UFPA, UFBA e UFSC.
No caso desenvolvido no ICMC, o foco atual permanece nos textos. Futuramente, segundo os pesquisadores, outras modalidades de conteúdo, como imagens, vídeos e áudio, também poderão ser consideradas nas pesquisas sobre a origem de materiais falsos produzidos ou modificados com inteligência artificial.
