Parafrasear burla o detector de IA? O artigo do DIPPER explicado

Parafrasear burla a detecção de IA? Num teste de 2023, em grande parte sim: pesquisadores da UMass Amherst e do Google mostraram que uma única passada de um bom modelo de paráfrase podia fazer o texto gerado por IA escapar da maioria dos detectores, deixando o sentido quase intacto. O artigo, apresentado na NeurIPS 2023, reduziu a taxa de detecção do DetectGPT de 70,3% para 4,6%, com taxa fixa de falsos positivos de 1%. Ele também propôs uma defesa que não depende de ler o estilo do texto.

O artigo é o ponto de partida da maior parte dos trabalhos posteriores sobre humanizadores de IA e sobre a resistência dos detectores. Veja o que ele fez, o que descobriu e o que isso significa para quem escreve com ajuda de IA.

O que é o DIPPER

O DIPPER (abreviação de Discourse Paraphraser) é um modelo de 11 bilhões de parâmetros ajustado a partir do T5-XXL. A maioria dos parafraseadores da época trabalhava uma frase por vez. O DIPPER foi treinado para reescrever parágrafos inteiros, usar o contexto ao redor, como o prompt original, e reordenar o conteúdo entre as frases.

Os dados de treinamento vieram do PAR3, um conjunto de várias traduções para o inglês dos mesmos romances escritos em outras línguas. Dois tradutores vertendo o mesmo parágrafo produzem paráfrases naturais um do outro, com escolhas de palavras e ordem de frases diferentes, mas o mesmo conteúdo. Isso deu ao modelo exemplos realistas de como as pessoas expressam uma mesma ideia de maneiras diferentes.

O DIPPER tem dois controles, ambos definidos no momento da inferência:

• Diversidade lexical (L): o quanto as palavras mudam. Os autores observam que L = 20 corresponde aproximadamente a uma modificação lexical de 20%.
• Diversidade de ordem (O): o quanto o conteúdo é reordenado dentro do parágrafo.

Nos experimentos principais, L foi definido como 20, 40 ou 60 e O como 0 ou 60, e cada texto foi parafraseado uma única vez, em vez de ser reprocessado até passar.

Como o teste foi montado

Os autores geraram textos de 300 tokens com três modelos de tamanhos muito diferentes: GPT-2 XL (1,5 bilhão de parâmetros), OPT-13B e GPT-3.5 (text-davinci-003). As tarefas foram continuação livre de trechos da Wikipedia e respostas longas a perguntas.

Em seguida, testaram cinco detectores: a marca d'água de Kirchenbauer et al., DetectGPT, GPTZero, o classificador de texto de IA da OpenAI e o RankGen. Todos foram ajustados para uma taxa de falsos positivos de 1%, ou seja, só 1 em cada 100 textos humanos seria sinalizado por engano. Os autores defendem que essa é a forma correta de avaliar detectores e acrescentam que, na prática, até 1% provavelmente é alto demais.

Para verificar se as paráfrases mantinham o sentido, usaram o P-SP, um modelo de similaridade semântica, além de avaliação humana.

O que aconteceu com as taxas de detecção

• DetectGPT, texto do GPT-2 XL70,3%
• DetectGPT, após paráfrase4,6%
• Marca d'água, texto do GPT-2 XL100%
• Marca d'água, após paráfrase57,2%
• Classificador da OpenAI, texto do GPT-3.530,0%
• Classificador da OpenAI, após paráfrase15,6%

Fonte: Krishna et al. 2023, seção 4.3 (geração livre a partir da Wikipedia).

Em todos os modelos, detectores e tarefas, a paráfrase reduziu a detecção em todas as configurações de diversidade. Ao mesmo tempo, de 88% a 99% das paráfrases ficaram acima da similaridade mediana de pares de paráfrases escritas por humanos, então o sentido foi em grande parte preservado.

Dois outros resultados se destacam:

• A marca d'água foi a mais resistente. Ela ainda identificou a maioria dos textos parafraseados do GPT-2 XL, porque alguns tokens marcados sobrevivem à reescrita. Sua força vem de um sinal inserido no momento da geração, um tipo de evidência diferente do estilo. Veja nosso texto sobre marcas d'água para entender como esse sinal funciona.
• Os detectores sem marca d'água já eram fracos antes da paráfrase nos modelos maiores. GPTZero e RankGen identificaram menos de 15% do texto de IA não parafraseado nesses cenários, e o DetectGPT caiu de 74,9% no GPT-2 XL para 29,8% no OPT-13B em respostas longas. A OpenAI retirou seu classificador em julho de 2023, alegando baixa precisão.

Por que reescrever preservando o sentido muda o veredito

O resultado parece surpreendente até você lembrar o que esses detectores medem. Como explicamos em como funcionam os detectores de IA, detectores estatísticos como o DetectGPT avaliam o quanto cada token é provável segundo um modelo de linguagem. Um detector de marca d'água conta tokens de uma "lista verde" secreta. Nenhum dos dois lê o argumento.

Uma paráfrase mantém o argumento, mas sorteia de novo cada escolha de palavra a partir da distribuição de outro modelo. Os tokens que faziam o texto original parecer de máquina, ou marcado, são substituídos por outros tokens com o mesmo sentido. O detector vê uma nova impressão digital estatística; o leitor vê o mesmo parágrafo.

Essa é a ideia central que o artigo deixou para todos que vieram depois: a detecção baseada em estilo mede a forma de superfície, e a forma de superfície pode mudar enquanto o sentido continua o mesmo. A mesma ideia explica por que uma edição humana leve confunde os detectores em testes em sala de aula e por que o artigo de Sadasivan et al., publicado na mesma época, argumentou que a detecção pode ser fundamentalmente limitada.

A defesa por recuperação

A segunda metade do artigo apresenta uma defesa que não depende do estilo. Em vez de perguntar "isto parece escrito por máquina?", ela pergunta "nosso modelo escreveu algo com este sentido?"

1. ArmazenarO provedor do modelo de linguagem guarda em um banco de dados todas as saídas geradas pela sua API.
2. CodificarO texto a ser verificado é transformado em uma representação do seu conteúdo.
3. BuscarO sistema procura gerações armazenadas com conteúdo correspondente, usando BM25 ou o modelo semântico P-SP.
4. DecidirSe houver uma correspondência próxima o bastante, o texto é sinalizado como vindo do modelo daquele provedor.

Como a paráfrase mantém o conteúdo, ela continua correspondendo ao original armazenado. Com um banco de 15 milhões de gerações, a recuperação detectou de 80% a 97% dos textos parafraseados nos diferentes cenários, sinalizando só 1% do texto humano. Nas respostas longas, a recuperação por BM25 identificou 97,8%, 97,3% e 96,2% dos textos mais intensamente parafraseados dos três modelos, contra 55,8%, 51,4% e 38,1% do melhor detector concorrente.

Os autores discutem os limites abertamente. A recuperação só funciona se o provedor a executar, só detecta as saídas do próprio provedor e levanta questões reais de armazenamento, privacidade e falsas correspondências à medida que os bancos crescem. Modelos de pesos abertos rodando localmente ficam totalmente de fora.

A linhagem da pesquisa sobre humanizadores

O DIPPER definiu o modelo que os trabalhos seguintes adotaram: transformar o texto de IA com um modelo separado, medir a detecção com uma taxa baixa e fixa de falsos positivos e verificar se o sentido sobreviveu. O SICO mostrou o mesmo efeito só com prompts. O benchmark RAID tornou a paráfrase um dos onze ataques padrão. Trabalhos mais recentes direcionam a paráfrase com o retorno do próprio detector.

Para quem escreve textos acadêmicos, a lição não é uma receita. É um alerta sobre o que um veredito de detector pode significar. Uma sinalização, ou a falta dela, reflete como as estatísticas de superfície de um texto se alinham às expectativas de um modelo. Não diz nada confiável sobre quem teve as ideias. É por isso que seus rascunhos e suas anotações importam mais do que qualquer pontuação, e por isso você deve conferir as regras da sua instituição ou revista sobre o uso de IA e declará-lo quando for exigido. Os detectores comerciais também mudaram desde então; veja o Turnitin detecta texto humanizado?

Onde o Academic Humanizer se encaixa

O Academic Humanizer aplica a lição dessa pesquisa no sentido inverso: como os detectores reagem a padrões de superfície, o objetivo é mudar o mínimo possível, mantendo o que importa. O Humanizer reescreve só as frases que os detectores sinalizam, deixa o resto exatamente como foi escrito e mantém afirmações, números, ressalvas e citações no lugar. O Relatório de Detecção de IA coloca cada frase sinalizada ao lado da reescrita para que você confira o sentido linha por linha antes de usar o resultado.