Detector de IA é preciso? O que mostrou um estudo com 14 ferramentas

Os detectores de IA são precisos? Não muito, segundo um dos testes públicos mais bem documentados até hoje. Em 2023, oito pesquisadores de integridade acadêmica escreveram textos originais, geraram outros com o ChatGPT, editaram e parafrasearam parte deles e submeteram os 54 documentos a 14 detectores. Nenhum chegou a 80% de precisão. A conclusão, publicada no International Journal for Educational Integrity, foi direta: as ferramentas não eram "nem precisas nem confiáveis".

Este post explica como o estudo foi montado, o que os números realmente mostram e por que a lição mais útil para pesquisadores é mais específica e prática do que "detectores não servem para nada". A pontuação de um detector é um sinal. Não é uma prova.

Como o estudo foi desenhado

O ponto forte deste artigo é o conjunto de testes. Nove pesquisadores (os oito autores e um colaborador) prepararam seis documentos cada, então a resposta certa de cada caso era conhecida. Os textos humanos, com cerca de 10.000 caracteres, foram escritos do zero, mais ou menos em nível de graduação, em áreas como engenharia civil, ciência da computação, economia, história, linguística e literatura. Nada disso jamais esteve na internet, o que descarta a chance de um modelo ter visto esses textos no treinamento.

Os detectores foram Check For AI, Compilatio, Content at Scale, Crossplag, DetectGPT, Go Winston, GPT Zero, GPT-2 Output Detector Demo, OpenAI Text Classifier, PlagiarismCheck, Turnitin, Writeful GPT Detector, Writer e ZeroGPT. Doze eram ferramentas web gratuitas; Turnitin e PlagiarismCheck eram sistemas comerciais que deram acesso à equipe. Ao todo foram 756 testes individuais, feitos entre março e maio de 2023.

Como as ferramentas informam probabilidades em vez de sim ou não, os autores converteram cada resultado para uma escala de cinco níveis e calcularam a precisão de três formas diferentes. A classificação das ferramentas quase não mudou de um método para outro, o que torna mais difícil descartar os resultados como efeito da forma de pontuar.

O principal: nenhuma ferramenta chegou a 80%

Todas as ferramentas ficaram abaixo de 80% de precisão, e só cinco passaram de 70%: Turnitin, Compilatio, GPT-2 Output Detector, Crossplag e Go Winston. O Turnitin ficou em primeiro lugar nos três métodos de pontuação. O terceiro lugar do GPT-2 Output Detector surpreendeu os autores, já que ele nunca foi treinado com textos do GPT-3.5.

• Turnitin76%
• Compilatio74%
• GPT-2 Output Detector Demo72%
• GPT Zero54%
• PlagiarismCheck39%
• Content at Scale33%

Fonte: Weber-Wulff et al. 2023, Tabela 5 (abordagem binária, 54 documentos por ferramenta).

Um número de precisão geral, porém, esconde a maior parte da história. A parte interessante é onde cada ferramenta falhou.

Onde a precisão desabou

Na média entre ferramentas e métodos de pontuação, os textos humanos em inglês foram classificados corretamente em 96% dos casos. O texto do ChatGPT sem edição ficou em 74%. Daí em diante, os números caíram rápido.

• Escrito por humano (01-Hum)96%
• ChatGPT, sem edição (03/04-AI)74%
• ChatGPT, editado à mão (05-ManEd)42%
• ChatGPT, parafraseado por máquina (06-Para)26%

Fonte: Weber-Wulff et al. 2023, seção 5.1.1 (média de todas as abordagens de precisão).

Tradução automática. Textos humanos escritos em outro idioma e traduzidos automaticamente para o inglês foram classificados corretamente cerca de 20 pontos a menos do que os textos originais em inglês. A tradução deixa rastros estatísticos que as ferramentas leem como produção de máquina, mesmo quando todas as ideias vieram de uma pessoa.

Edição humana leve. Trocar sinônimos e reordenar orações, o tipo de passada rápida que os autores chamam de patchwriting, derrubou a precisão média para 42%.

Paráfrase automática. Uma única passada pelo Quillbot derrubou a precisão para 26%. A maioria dos textos de IA parafraseados foi lida como humana.

Por que mudanças tão superficiais pesam tanto? A maioria dos detectores não lê o sentido. Como explicamos em como funcionam os detectores de IA, eles medem o quanto cada palavra é previsível e o quanto o ritmo do texto parece uniforme. Mude escolhas de palavras suficientes e a impressão digital estatística se desloca, enquanto o conteúdo continua o mesmo. Essa é uma fragilidade do detector, não uma característica da escrita.

Uma tendência a dizer "humano", e o problema da acusação falsa

Com a notável exceção do GPT Zero, todas as ferramentas foram mais precisas com textos humanos do que com textos de IA. Os autores interpretam isso como uma escolha de design provavelmente deliberada e argumentam que essa é a direção mais segura na educação. Ainda assim, houve erros nos dois sentidos.

A equipe definiu uma taxa de acusação falsa: a parcela dos casos escritos por humanos em que o resultado de uma ferramenta poderia plausivelmente levar um professor a acusar um aluno. Para textos originais em inglês, a média entre as ferramentas foi de 2,4%. Para textos traduzidos automaticamente, foi de 11,1%. Metade das ferramentas nunca produziu uma acusação falsa; o GPT Zero foi o ponto fora da curva, com 50%, e os autores o consideraram inadequado para uso acadêmico. O Turnitin não teve nenhuma acusação falsa neste conjunto.

Do outro lado, cerca de 20% dos textos de IA sem edição passaram sem ser detectados, em média, e cerca de metade dos textos ofuscados também. A equipe ainda viu o mesmo documento ter resultados diferentes em dias diferentes: um teste no Check For AI indicou risco baixo e, cinco dias depois, risco alto. Para quem enfrenta uma acusação, essa inconsistência importa tanto quanto as taxas de erro.

O resultado da tradução merece atenção especial de pesquisadores internacionais. Escrever na sua primeira língua e traduzir o próprio trabalho é uma prática legítima, mas neste estudo isso aumentou o risco de uma sinalização falsa. O achado está em linha com o que discutimos em detectores de GPT são enviesados contra quem não é falante nativo de inglês.

O que os autores recomendam

As conclusões são dirigidas a educadores, e são firmes:

• O resultado de um detector nunca deve ser a única base para uma denúncia de má conduta. Ao contrário dos softwares de comparação de textos, os detectores de IA não apontam nenhuma fonte que possa ser verificada, então o aluno não tem nada concreto para contestar.
• Uma sinalização pode motivar uma conversa com o aluno, não um veredito.
• A prevenção deve vir antes da detecção: orientações claras sobre usos éticos e antiéticos da IA generativa e avaliações redesenhadas para valorizar o processo de escrita mais do que o produto final.
• As instituições devem considerar os aspectos de privacidade e jurídicos de enviar trabalhos de alunos a serviços de detecção na nuvem.

O artigo também é franco sobre os seus limites. Testou só o inglês, um único gerador e as ferramentas como eram no início de 2023. Os fornecedores atualizaram seus produtos desde então, então as porcentagens específicas não devem ser lidas como pontuações atuais. O que permanece são o método e os padrões de falha, e trabalhos posteriores, como o benchmark RAID, encontraram os mesmos tipos de fraqueza numa escala muito maior.

O que isso significa se você escreve com ajuda de IA

Se você é pesquisador ou estudante, há três pontos práticos. Primeiro, confira o que a sua instituição ou a revista-alvo realmente permite e declare o uso de IA quando for exigido. Segundo, guarde seus rascunhos, anotações e histórico de versões; os autores do estudo ressaltam que os detectores não oferecem provas, e os registros do seu próprio processo são a prova mais forte que você pode ter (veja como o histórico de rascunhos apoia a integridade acadêmica). Terceiro, se você for sinalizado, as taxas de erro publicadas dão uma base razoável para pedir uma revisão humana. Nosso guia sobre o que fazer se o seu texto for acusado de IA injustamente trata dessa conversa. Se um professor levantar uma suspeita, como os professores detectam IA explica o que mais eles costumam observar além da pontuação.

Onde entra a Academic Humanizer

Estudos como este são o motivo de a Academic Humanizer existir: a prosa acadêmica formal e cuidadosamente editada pode ficar perto da linha que os detectores traçam, e boas ideias acabam rotuladas de forma errada. O Humanizer analisa o rascunho frase a frase, reescreve só as frases que os detectores sinalizam e deixa o resto exatamente como você escreveu, mantendo intactas suas afirmações, números e citações. O AI Detection Report integrado mostra cada frase sinalizada ao lado da sua reescrita e compara as duas versões com a mesma medida, para que você veja o que mudou e revise cada linha antes de usar o texto.