Os detectores de IA são precisos? O que mostra o benchmark RAID

Os detectores de IA são precisos? Muitos anunciam 99% ou mais. O benchmark RAID, apresentado na ACL 2024, foi criado para testar esse tipo de promessa num conjunto de dados compartilhado e difícil. A resposta: os detectores podem chegar a uma precisão muito alta, mas só em condições estreitas, muitas vezes só quando se permitem muitos falsos positivos, e mudanças simples no modo como o texto é gerado, ou pequenas alterações nele, podem levá-los perto do fracasso.

Veja o que o RAID contém, como ele mede os detectores e por que os seus números raramente batem com os que aparecem nas páginas dos fornecedores.

O que há dentro do RAID

O RAID é grande de propósito. Os conjuntos de dados de detecção anteriores costumavam usar um ou dois geradores, uma única configuração de decodificação e nenhum ataque, o que favorece os detectores. O RAID varia tudo isso ao mesmo tempo.

Dez por cento dos dados ficam reservados, sem rótulos, como conjunto de teste oculto, e os autores mantêm um ranking público para que novos detectores sejam comparados nas mesmas condições. Um conjunto à parte, o RAID-extra, acrescenta 2,3 milhões de textos gerados de código Python, notícias em tcheco e notícias em alemão.

Resumos de artigos científicos são um dos oito domínios, o que torna o RAID mais relevante para quem escreve textos acadêmicos do que benchmarks feitos só com notícias ou textos da web.

Por que a taxa de falsos positivos muda tudo

Um detector produz uma pontuação. Para transformá-la em "IA" ou "humano", alguém escolhe um limiar. Os autores do RAID mostram que essa escolha importa mais do que a maior parte do marketing admite.

Primeiro, eles verificaram o que acontece com um limiar ingênuo, como 0,5. Vários detectores de código aberto, sobretudo os baseados em métricas, produziram o que os autores chamam de taxas de falsos positivos perigosamente altas. Os detectores comerciais estavam mais bem calibrados, e nenhum passou de 1,7% de falsos positivos nos limiares usuais testados.

Segundo, eles traçaram a precisão em função da taxa de falsos positivos. Os detectores conseguiam chegar às precisões altíssimas citadas em reportagens que viralizaram, mas só quando podiam ter uma taxa de falsos positivos igualmente alta. À medida que a taxa tolerada caía, a maioria despencava, e poucos conseguiam operar abaixo de 1%. Alguns nem chegaram à menor taxa testada, estacionando em 16,9% (ZeroGPT), 0,88% (Fast-DetectGPT) e 0,62% (Originality). O Binoculars foi a exceção clara, mantendo bom desempenho com taxas baixas de falsos positivos.

• Taxa de detecção em texto de IA
• Taxa de falsos positivos em texto humano

Exemplo ilustrativo da relação que o RAID mede, não são dados do artigo.

No restante do artigo, todos os detectores são calibrados para uma taxa de falsos positivos de 5% nos textos humanos do RAID, e a precisão é informada nesse ponto. É a única forma justa de comparar ferramentas, e é também por isso que os números do RAID parecem mais baixos do que os anunciados pelos fornecedores, que muitas vezes nem informam a taxa de falsos positivos.

Amostragem, penalidades de repetição e modelos desconhecidos

Alguns dos resultados mais marcantes do RAID não envolvem ataque nenhum, só configurações comuns de geração.

Penalidade de repetição. Acrescentar uma penalidade de repetição, que desestimula o modelo a reutilizar os mesmos tokens, derrubou a precisão em até 32 pontos entre detectores, geradores e domínios. Os autores observam que nenhum estudo anterior sobre a resistência dos detectores tinha tratado disso, embora as penalidades façam o texto soar mais humano.

Estratégia de decodificação. Todas as categorias de detector se saíram bem melhor com decodificação gulosa do que com amostragem aleatória.

Geradores desconhecidos. O detector RoBERTa treinado com textos do GPT-2 passou de 95% em textos do GPT-2 em cinco domínios, mas raramente passou de 60% em textos de outros modelos nos mesmos domínios. Os detectores se saem melhor nos modelos e domínios com que foram treinados, e os autores observaram padrões semelhantes nas ferramentas comerciais.

O artigo resume sem rodeios: mudar o gerador, a estratégia de decodificação ou acrescentar uma penalidade de repetição bastou para gerar taxas de erro de 95% ou mais em detectores que, de outra forma, pareciam excelentes.

Como os ataques adversariais afetam cada detector

Os ataques do RAID são, de propósito, edições simples de caixa-preta. O efeito variou muito de um detector para outro, e esse é um dos achados mais úteis do artigo.

• Originality, sem ataque85,0%
• Originality, ataque com homóglifos9,3%
• Binoculars, sem ataque79,6%
• Binoculars, troca por sinônimos43,5%
• GPTZero, sem ataque66,5%
• GPTZero, ataque com homóglifos66,2%

Fonte: Dugan et al. 2024, Tabela 6.

• Trocar uma pequena parte das palavras por sinônimos derrubou o Binoculars e outros métodos baseados em métricas em até 36,1 pontos.
• Homóglifos, caracteres visualmente idênticos mas com códigos diferentes, prejudicaram quase todos os detectores. O GPTZero perdeu só 0,3 ponto; outros cinco caíram em média 40,6.
• Detectores treinados de forma adversarial, como o RADAR, resistiram bem melhor.
• Alguns ataques ajudaram. O detector RoBERTa do GPT-2 melhorou 16,2 pontos depois da paráfrase com T5, provavelmente porque o parafraseador aproximou o texto dos próprios dados de treino do detector.

O padrão por trás de tudo isso é o mesmo visto em estudos menores, como o teste de 14 ferramentas de Weber-Wulff e colegas: os detectores leem estatísticas de superfície, e cada detector lê estatísticas diferentes. Uma mudança que não toca no sentido ainda pode fazer um texto cruzar a linha de um detector.

Por que os números do benchmark diferem dos anunciados

Quando a página de um produto diz 99%, geralmente quer dizer 99% no conjunto de teste do próprio fornecedor, tirado dos modelos, domínios e configurações para os quais o detector foi treinado, com um limiar que não é informado ao leitor. O RAID difere em cada um desses pontos:

• Fixa e informa a taxa de falsos positivos, para que a precisão não seja comprada com textos humanos sinalizados por engano.
• Inclui modelos e domínios que um detector pode nunca ter visto.
• Varia configurações de decodificação que usuários e ferramentas reais mudam o tempo todo.
• Aplica edições baratas pelas quais textos reais passam de qualquer forma, como erros de digitação, mudanças de formatação e reformulações.

Nenhum dos dois números é falso. Eles respondem a perguntas diferentes. O número do fornecedor diz como a ferramenta se sai nas condições para as quais foi construída. O RAID diz como ela se comporta quando as condições mudam, o que se aproxima mais do que acontece com um manuscrito real. Essa diferença também explica boa parte do que discutimos em por que os detectores de IA discordam sobre o mesmo parágrafo.

Os autores traçam uma linha firme na declaração de ética: diante de problemas de falsos positivos ainda sem solução, eles se opõem ao uso de detectores em contextos disciplinares ou punitivos até que padrões melhores de avaliação sejam amplamente adotados.

O que isso significa para quem escreve textos acadêmicos

Se você escreve com ajuda de IA, o RAID lembra que qualquer pontuação de um único detector depende de configurações que você não vê. Trate um resultado como uma leitura entre outras, confira o que a política da sua instituição ou revista diz sobre o uso de IA e guarde registros do seu processo de redação. Se uma pontuação for usada contra você, evidências de benchmark como esta são uma base justa para pedir uma revisão humana; nosso post sobre o que fazer se o seu texto for acusado de IA injustamente traz os passos práticos. O Turnitin detecta ChatGPT, Claude e Gemini? trata da mesma questão para o Turnitin, que o RAID não testou.

Onde entra a Academic Humanizer

Como os detectores discordam e mudam, a Academic Humanizer confere os seus resultados com vários deles, e não com um só. Ela é validada com Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling e Originality.ai. O Humanizer reescreve só as frases que os detectores sinalizam, mantém sua terminologia, números e citações, e o AI Detection Report mostra o rascunho e o resultado lado a lado com a mesma medida, incluindo as frases que continuam sinalizadas, para que você decida o que revisar antes de submeter.