Como funcionam os detectores de IA? E por que seu texto é marcado

Os detectores de IA funcionam medindo o quanto um texto parece previsível para um modelo de linguagem, e não lendo pelo sentido, e é também por isso que o seu próprio texto pode ser marcado como IA. Alguns usam estatísticas simples, como perplexidade e burstiness, outros um classificador treinado com exemplos rotulados, e alguns poucos marcas d'água ocultas colocadas no texto no momento da geração. Nenhum deles sabe quem escreveu o texto. Eles julgam se o padrão do texto se parece com o de uma máquina.

Cada método tem um ponto fraco diferente, e quase todos compartilham um: a prosa cuidadosa, formal e convencional é previsível por natureza. É por isso que uma seção de métodos bem editada pode pontuar mais perto de "IA" do que um post de blog bagunçado. Veja como funcionam as principais abordagens, o que a pesquisa diz sobre seus limites e por que a escrita acadêmica fica tão perto da linha de decisão.

O sinal central: o quanto o modelo se surpreende?

Um modelo de linguagem atribui uma probabilidade a cada próxima palavra possível (mais precisamente, a cada próximo token). Quando um modelo gera texto, ele tende a escolher tokens de alta probabilidade, porque é isso que a amostragem faz. Autores humanos não estão presos a essa regra. Escolhemos um verbo inesperado, retomamos um detalhe de três páginas antes ou quebramos um padrão para dar ênfase.

A perplexidade transforma isso em um número. Passe um trecho por um modelo, pergunte o quanto cada token era provável dado o que veio antes e tire a média. Perplexidade baixa significa que o modelo achou o texto fácil de prever. Perplexidade alta significa que ele foi surpreendido o tempo todo. O próprio texto explicativo do GPTZero define a perplexidade mais ou menos nesses termos e trata pontuações mais altas como sinal de autoria humana (GPTZero).

The results of this study suggest that soil moisture plays an important role in seedling survival, though only after the second frost.

Verde: tokens que o modelo esperava. Neutro: palavras do tema. Vermelho: tokens que o modelo considerou improváveis. A primeira metade soa como fórmula; a ressalva no final é o que um leitor humano, e um detector, percebe.

Essa ideia é mais antiga que o ChatGPT. O GLTR, uma ferramenta de 2019 criada por pesquisadores de Harvard e da IBM, coloria cada palavra conforme sua posição nas previsões de um modelo para que pessoas conseguissem identificar texto gerado. No estudo, a visualização elevou a taxa de detecção de leitores sem treinamento de 54% para 72% (Gehrmann et al., ACL 2019 demo).

Burstiness: a variação entre frases

A perplexidade é medida sobre tokens. A burstiness olha um nível acima: o quanto a previsibilidade muda de uma frase para outra. A prosa humana tende a alternar. Uma frase declarativa curta, depois uma frase longa com duas orações subordinadas e um parêntese, depois um fragmento. O texto gerado costuma manter um ritmo mais constante, com frases de tamanho e estrutura parecidos.

Um detector que acompanha a burstiness pergunta se o trecho tem esses picos e vales. Perfis planos empurram a pontuação para "IA". O problema é que muitos gêneros são planos de propósito. Resumos, descrições de protocolos e textos jurídicos ou regulatórios favorecem frases uniformes.

Perplexidade e burstiness são fáceis de explicar, por isso dominam os artigos de divulgação. Mas já não são a história toda. O próprio GPTZero diz que migrou para uma arquitetura de aprendizado profundo e hoje trata essas duas medidas como um subconjunto dos seus indicadores, não como o método principal.

Classificadores treinados

A maioria dos detectores comerciais atuais são classificadores supervisionados. Uma equipe reúne grandes conjuntos de textos escritos por humanos e por máquinas, rotula tudo e faz o ajuste fino de uma rede neural para distingui-los. A rede aprende o que quer que separe as duas pilhas: escolha de palavras, frequência de expressões, hábitos de pontuação, formato dos parágrafos e padrões que ninguém sabe nomear.

Os classificadores podem ser muito precisos em textos parecidos com os dados de treinamento. O Ghostbuster, um sistema de pesquisa que alimenta um classificador com características de vários modelos de linguagem mais fracos, relatou 99,0 de F1 entre domínios no seu benchmark (Verma et al., NAACL 2024). O problema é a deriva. Um classificador treinado com uma geração de modelos, um conjunto de gêneros e uma configuração de decodificação pode falhar quando qualquer um desses fatores muda. O benchmark RAID, com mais de 6 milhões de gerações de 11 modelos, 8 domínios e 11 ataques adversariais, constatou que os detectores são facilmente enganados por mudanças na estratégia de amostragem, por modelos não vistos e por ataques simples (Dugan et al., ACL 2024).

O alerta mais claro veio da própria OpenAI. Seu classificador de texto de IA, lançado em janeiro de 2023, identificou corretamente apenas 26% dos textos escritos por IA no conjunto de teste e classificou errado 9% dos textos humanos. A OpenAI o retirou em julho de 2023, citando a baixa taxa de precisão (OpenAI).

Métodos estatísticos zero-shot

Uma segunda família de detectores dispensa totalmente o treinamento. Esses métodos zero-shot usam as próprias probabilidades de um modelo de linguagem para testar um trecho.

O DetectGPT, de Stanford, parte de uma observação: o texto amostrado de um modelo tende a ficar em um pico local da log-probabilidade desse modelo. Altere algumas palavras com um segundo modelo (os autores usaram o T5) e o texto de máquina perde probabilidade rapidamente, enquanto o texto humano muda de forma menos previsível. Em notícias falsas geradas por um modelo de 20 bilhões de parâmetros, o DetectGPT chegou a 0,95 de AUROC, contra 0,81 da linha de base zero-shot mais forte (Mitchell et al., ICML 2023).

• Trecho gerado por máquina
• Trecho escrito por humano

Formato ilustrativo, baseado no método descrito por Mitchell et al. (2023)

O DetectGPT é caro, porque pontua muitas cópias perturbadas de cada trecho. O Fast-DetectGPT substituiu a etapa de perturbação por uma estimativa por amostragem mais barata e relatou uma melhora relativa de cerca de 75% e uma aceleração de 340x (Bao et al., ICLR 2024). O Binoculars compara como dois modelos muito próximos pontuam o mesmo texto e relatou detectar mais de 90% das amostras do ChatGPT com taxa de falsos positivos de 0,01%, sem treinamento com dados do ChatGPT (Hans et al., ICML 2024).

Marcas d'água

A marca d'água leva a detecção para o momento da geração. No esquema proposto por Kirchenbauer e colegas, o modelo divide seu vocabulário em listas "verde" e "vermelha" a cada passo, usando um hash do token anterior, e depois inclina a amostragem para os tokens verdes. Um detector que conhece a regra de hash conta os tokens verdes e aplica um teste estatístico. O texto humano fica perto do acaso; o texto com marca d'água tem verdes demais (Kirchenbauer et al., ICML 2023).

As marcas d'água só funcionam se o modelo que escreveu o texto tiver aplicado uma, e só para detectores que conhecem a chave. Elas também enfraquecem com edição pesada. Krishna et al. mostraram que um parafraseador treinado reduziu a taxa de detecção do DetectGPT de 70,3% para 4,6%, com 1% de falsos positivos, e que a detecção de marcas d'água também piorou (Krishna et al., NeurIPS 2023). Por isso, na prática, os detectores usados pela sua universidade ou revista são classificadores e pontuadores estatísticos, não leitores de marca d'água.

Pontuação por frase versus pontuação por documento

Os detectores reportam em granularidades diferentes. Alguns devolvem uma única probabilidade para o documento inteiro. Outros pontuam cada frase ou janela curta, destacam as suspeitas e depois as agregam em um percentual. O Turnitin, por exemplo, destaca frases e já descreveu em suas orientações uma taxa de falsos positivos no nível da frase de cerca de 4% (Turnitin).

A pontuação por frase é mais informativa, mas mais ruidosa. Uma frase tem poucos tokens, então sua estimativa de perplexidade é instável. A pontuação por documento é mais estável, mas esconde onde está o problema. Detalhamos esse equilíbrio em detecção de IA no nível da frase, e por que ferramentas diferentes discordam em por que os detectores de IA discordam.

Por que a prosa acadêmica formal fica perto da fronteira

Todos os métodos acima premiam a surpresa e penalizam a convenção. A escrita acadêmica é construída sobre convenções. As áreas padronizam suas formulações para que os leitores percorram os artigos rapidamente: "Participants were randomly assigned to", "These findings are consistent with", "Further research is needed to". Os manuais de estilo desencorajam floreios. Autores não nativos costumam recorrer a um vocabulário mais restrito e seguro. Tudo isso reduz a perplexidade.

A evidência mais clara vem de Liang et al., de Stanford. Eles passaram sete detectores por redações do TOEFL escritas por falantes não nativos de inglês e por redações de alunos do oitavo ano nos EUA. Os detectores foram quase perfeitos nas redações de nativos, mas classificaram as redações do TOEFL como IA, em média, em 61,3% dos casos. Quando os pesquisadores usaram o ChatGPT para enriquecer o vocabulário dessas mesmas redações, a taxa média de falsos positivos caiu para 11,6% (Liang et al., Patterns 2023).

• Redações originais61,3%
• Após enriquecimento do vocabulário11,6%

Fonte: Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

A lição não é que os detectores sejam inúteis. É que suas pontuações refletem o estilo tanto quanto a autoria. Um pesquisador cuidadoso que escreve um inglês simples e disciplinado pode cair do lado errado da linha sem nenhum envolvimento de IA. Analisamos esse efeito mais de perto na nossa análise do estudo de Liang e em por que a prosa formal pode parecer escrita por IA. Para técnicas de revisão que mantêm as suas próprias ideias intactas, veja como evitar detector de IA na escrita acadêmica.

Onde o Academic Humanizer se encaixa

O Academic Humanizer foi feito para esse último problema. O Humanizer analisa o rascunho frase por frase, reescreve só as frases que os detectores sinalizam e deixa o resto exatamente como você escreveu, mantendo seu argumento, seus números, suas citações e sua terminologia. O Relatório de Detecção de IA integrado mostra cada frase sinalizada ao lado da reescrita e compara as duas versões, e os resultados são verificados com detectores como Turnitin, GPTZero e Originality.ai. Antes de usar qualquer ferramenta em um trabalho que será entregue, consulte a política de IA da sua instituição ou revista e leia o resultado você mesmo antes de enviá-lo a qualquer lugar.