Detector de IA é confiável? Falsos positivos com inglês de não nativos

Os detectores de IA têm viés? No teste mais conhecido, sim: eles produziram muito mais falsos positivos em textos de falantes não nativos de inglês do que em textos de falantes nativos. Essa é a principal conclusão de "GPT detectors are biased against non-native English writers", um estudo de 2023 de Weixin Liang, James Zou e colegas de Stanford, publicado na revista Patterns. Sete detectores populares classificaram como geradas por IA, em média, 61% das redações do TOEFL escritas por estudantes reais, enquanto acertaram quase perfeitamente as redações de alunos do oitavo ano nos EUA.

Para pesquisadores e estudantes internacionais, este artigo é a evidência mais clara de que o veredito de um detector pode refletir a forma como você escreve em inglês, e não se você usou IA. Veja como o estudo funcionou, por que o viés acontece e o que mudou desde então.

Como o estudo de Liang et al. foi desenhado

O desenho é simples, e isso explica parte da sua força de convencimento. Os autores reuniram dois conjuntos de redações escritas inteiramente por humanos:

• 91 redações do TOEFL de falantes não nativos de inglês, coletadas em um fórum educacional chinês.
• 88 redações de alunos do oitavo ano nos EUA, tiradas do conjunto de dados Automated Student Assessment Prize, da Hewlett Foundation.

Eles passaram cada redação por sete detectores muito usados na época: Originality.AI, Quill.org, Sapling, o classificador da OpenAI, Crossplag, GPTZero e ZeroGPT. Como todas as redações tinham sido escritas por humanos, qualquer veredito de IA era um falso positivo.

Os resultados: 61% das redações do TOEFL sinalizadas

Os detectores foram quase perfeitos nas redações americanas. Nas redações do TOEFL, a taxa média de falsos positivos das sete ferramentas foi de 61,22%. Pior: os erros não estavam espalhados ao acaso.

Dezoito das 91 redações foram classificadas como geradas por IA por todos os detectores, sem exceção. E 89 das 91 foram sinalizadas por pelo menos um. Se um professor ou editor passar a redação de um autor não nativo pela ferramenta que estiver à mão, esses números indicam uma grande chance de pelo menos um alarme falso.

Por que isso acontece: perplexidade e vocabulário restrito

Muitos detectores se apoiam na perplexidade, uma medida de quão surpreso um modelo de linguagem fica com um texto. A saída de máquina tende a ter baixa perplexidade porque os modelos escolhem palavras prováveis. O problema é que a escrita humana também pode ter baixa perplexidade por motivos perfeitamente inocentes.

Quem escreve em uma segunda língua costuma usar um vocabulário menor e mais seguro e estruturas de frase mais comuns. Isso não é uma falha de raciocínio; é como a maioria das pessoas escreve em uma língua que aprendeu mais tarde. Mas, para um modelo de linguagem, essas escolhas são previsíveis, e o previsível parece feito por máquina. Os autores mediram a perplexidade diretamente e constataram que as redações do TOEFL tinham perplexidade significativamente menor que as redações americanas.

• Texto gerado por máquina
• Escrita humana de não nativos

Exemplo ilustrativo do mecanismo, não dados do artigo

O experimento de enriquecimento de vocabulário

Para testar se o vocabulário realmente causava o viés, os autores fizeram o experimento nos dois sentidos, usando o ChatGPT como editor.

• Enriquecer as redações de não nativos. Eles pediram ao ChatGPT que melhorasse a escolha de palavras das redações do TOEFL para que soassem mais como as de um falante nativo. A taxa média de falsos positivos caiu de 61,22% para 11,77%, e só 1 das 91 redações continuou sinalizada pelos sete detectores.
• Simplificar as redações de nativos. Eles pediram ao ChatGPT que simplificasse a escolha de palavras das redações americanas para imitar a escrita de não nativos. A classificação errada subiu de uma média de 5,19% para 56,65%.

• Redações do TOEFL, originais61,22%
• Redações do TOEFL, vocabulário enriquecido11,77%
• Redações do 8º ano nos EUA, originais5,19%
• Redações do 8º ano nos EUA, vocabulário simplificado56,65%

Fonte: Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

O conteúdo de cada redação ficou igual. Só o vocabulário mudou, e os vereditos oscilaram cerca de cinquenta pontos percentuais em cada sentido. Os autores também mostraram o outro lado: pedir ao ChatGPT que reescrevesse as próprias redações de admissão universitária e resumos científicos com uma linguagem mais literária reduziu muito a detecção. Nos resumos, a detecção caiu de até 68% para até 28%. A conclusão deles foi que os detectores, na forma atual, podem penalizar autores com expressão linguística mais restrita e, ao mesmo tempo, ser fáceis de contornar para usuários determinados.

O que isso significa para pesquisadores internacionais

O inglês científico já empurra todo mundo para formulações padronizadas. Some a isso a escrita em uma segunda língua, e a prosa de muitos pesquisadores internacionais cai bem na zona que os detectores associam a máquinas. Daí decorrem alguns pontos práticos, e o nosso guia sobre como evitar detector de IA na escrita acadêmica os transforma em etapas de revisão.

• Uma sinalização não é prova de má conduta. Os autores desaconselharam explicitamente o uso de detectores em contextos de avaliação ou educacionais. Se você for sinalizado, nosso guia sobre o que fazer se seu texto for sinalizado como IA por engano explica como responder.
• Mantenha seu processo visível. Rascunhos, anotações e histórico de versões são a resposta mais forte a uma pontuação contestada. Veja como o histórico de rascunhos apoia a integridade acadêmica.
• Formal não é o mesmo que feito por máquina. O mesmo mecanismo explica por que a prosa formal pode parecer escrita por IA mesmo quando vem de falantes nativos.

Limitações do estudo e trabalhos posteriores

O estudo tem limitações reais. As amostras são modestas, 91 e 88 redações, e são redações estudantis, não artigos científicos. Os detectores foram testados no início de 2023, e todos os fornecedores atualizaram seus modelos desde então. A OpenAI retirou seu classificador ainda naquele ano. Portanto, os percentuais exatos descrevem aquelas ferramentas naquele momento, não as versões atuais.

Pesquisas posteriores mostram um quadro misto. Os autores do Binoculars, um detector zero-shot apresentado na ICML 2024, testaram redações de autores não nativos nas versões original e com a gramática corrigida e relataram 99,67% de precisão nas duas, o que sugere que alguns métodos são menos sensíveis a esse efeito. Por outro lado, os autores do Fast-DetectGPT apontaram taxas mais altas de falsos positivos na escrita de não nativos como um risco para detectores do tipo deles. Comparamos esses métodos em Fast-DetectGPT e Binoculars explicados. A tensão de fundo não desapareceu: qualquer detector que premie escolhas de palavras surpreendentes terá mais dificuldade para julgar um inglês simples e cuidadoso.

Como o Academic Humanizer lida com isso

O Academic Humanizer foi feito para pesquisadores cujas próprias ideias acabam rotuladas como texto de máquina, incluindo muitos que escrevem em inglês como segunda língua. Ele verifica o rascunho frase por frase, reescreve só as frases que os detectores sinalizam e mantém intactos suas afirmações, números, citações e terminologia da área; as frases já lidas como humanas ficam exatamente como você as escreveu. O Relatório de Detecção de IA mostra cada alteração lado a lado para que você aprove a redação final, e é uma boa prática confirmar também a política de IA da sua revista ou instituição.