Dá para detectar texto de IA com confiança? O artigo de Sadasivan

Os detectores de IA são confiáveis? Não quando alguém tenta ativamente escapar deles, segundo "Can AI-Generated Text Be Reliably Detected?", um artigo de 2023 de Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang e Soheil Feizi, e cada vez menos à medida que os modelos de linguagem soam mais humanos. O artigo, publicado depois na Transactions on Machine Learning Research, virou um dos argumentos mais citados no debate sobre detectores de IA.

Ele fez três afirmações. Parafrasear texto de máquina, sobretudo de forma repetida, derrota todos os principais tipos de detector. Os detectores também podem ser enganados para sinalizar texto humano. E existe um teto matemático para o desempenho de qualquer detector. Este post explica cada uma e depois olha para os trabalhos que contestaram essas conclusões.

Afirmação 1: a paráfrase recursiva quebra os detectores

O ataque é fácil de descrever. Pegue um trecho escrito por um modelo de linguagem e passe por um modelo de paráfrase. Depois parafraseie a paráfrase, e repita. Os autores chamam isso de paráfrase recursiva e testaram a técnica em trechos de cerca de 300 tokens com vários parafraseadores, entre eles o DIPPER, um modelo de 11 bilhões de parâmetros criado por outra equipe exatamente para esse tipo de estudo.

Eles miraram quatro famílias de detectores:

• Detectores de marca d'água, que procuram um padrão estatístico oculto inserido no momento da geração. Nosso texto sobre o artigo de marcas d'água em LLMs explica como funcionam.
• Classificadores treinados, como o detector baseado em RoBERTa lançado pela OpenAI.
• Detectores zero-shot, como o DetectGPT, que leem as probabilidades do próprio modelo.
• Detectores de recuperação, que comparam um trecho com um banco de dados de tudo o que um modelo já gerou.

• Marca d'água, original (TPR com 1% de FPR)99,3%
• Marca d'água, após paráfrase recursiva9,7%
• Detector zero-shot, original (AUROC)96,5%
• Detector zero-shot, após paráfrase (AUROC)25,2%

Fonte: Sadasivan et al., "Can AI-Generated Text be Reliably Detected?", arXiv 2303.11156

No texto com marca d'água, a paráfrase recursiva derrubou a taxa de verdadeiros positivos, com 1% de falsos positivos, de 99,3% para 9,7%. No detector zero-shot, a AUROC caiu de 96,5% para 25,2%, pior do que um palpite aleatório. Os autores também fizeram avaliações com pessoas e relataram que as paráfrases mantiveram em geral o sentido e a gramática, embora a qualidade tenha caído em alguns casos.

Afirmação 2: os detectores podem ser enganados (spoofing)

O segundo ataque vai no sentido contrário: fazer texto humano parecer de máquina. Os autores mostraram que um atacante que apenas consulta um modelo com marca d'água, sem saber como o detector funciona, consegue estimar quais palavras a marca d'água favorece. Escrever com essas palavras faz o texto humano disparar a marca d'água. No experimento, o spoofing levou a AUROC de detecção da marca d'água suave de 99,8% para 1,3%, ou seja, o detector já não conseguia distinguir o texto realmente marcado do texto forjado.

Para quem tem o trabalho avaliado por detectores, esse é o resultado mais incômodo. Um detector que pode ser levado a acusar escrita humana é um risco de reputação para as pessoas que ele julga, não só para o desenvolvedor do modelo.

Afirmação 3: o limite da AUROC

O resultado teórico liga a detecção a um único número. Pense em todos os textos que humanos poderiam escrever como uma distribuição de probabilidade, e em todos os textos que um modelo poderia escrever como outra. A distância de variação total entre elas, TV, mede o quanto as duas diferem, de 0 (idênticas) a 1 (sem sobreposição). O artigo prova que, para qualquer detector:

AUROC ≤ 1/2 + TV − TV²/2

Quando a TV é grande, o limite é folgado e um bom detector é possível. À medida que os modelos melhoram e a distribuição dos textos gerados se aproxima da escrita humana, a TV diminui e a melhor AUROC possível desliza em direção a 0,5, um cara ou coroa.

Valores calculados a partir do limite do artigo; não são resultados experimentais.

• Distribuições distantes
• Distribuições próximas

Exemplo ilustrativo do significado do limite, não dados do artigo

Os contra-argumentos

O artigo provocou respostas fortes. Três delas valem a pena conhecer.

Mais texto torna a detecção possível de novo

Souradip Chakraborty e colegas argumentaram em um artigo de posição na ICML 2024, "Position: On the Possibilities of AI-Generated Text Detection", que o limite se aplica a uma única amostra. Se o detector vê mais texto, seja em trechos mais longos ou em várias amostras da mesma fonte, as distribuições ficam mais fáceis de distinguir, e a detecção continua viável a menos que texto humano e de máquina sejam idênticos em toda a sua extensão. Eles calcularam quanto texto é necessário. Em resumo: o teto existe por amostra, mas sobe com o tamanho do texto.

Marcas d'água resistem mais do que o esperado

A equipe por trás do método original de lista verde, liderada por John Kirchenbauer, estudou a questão em "On the Reliability of Watermarks for Large Language Models" (ICLR 2024). Eles descobriram que as marcas d'água continuavam detectáveis após paráfrases humanas e automáticas, porque as paráfrases tendem a manter fragmentos do original. Em um cenário com reescrita humana intensa, a marca d'água era detectável depois de cerca de 800 tokens, em média, com uma taxa de falsos positivos muito baixa.

Recuperação como defesa

Kalpesh Krishna e colegas, criadores do DIPPER, propuseram no artigo da NeurIPS 2023 que um provedor de modelo poderia armazenar as próprias saídas e fazer buscas nelas. Com 15 milhões de gerações armazenadas, eles detectaram de 80% a 97% das saídas parafraseadas com 1% de falsos positivos. Sadasivan et al. responderam que a paráfrase recursiva também enfraquece a recuperação. Falamos do DIPPER em como a paráfrase do DIPPER escapa dos detectores de IA.

O que isso significa na prática

O debate se acomoda em uma posição intermediária razoável. A detecção funciona melhor em textos longos do que em curtos, funciona melhor quando o detector sabe qual modelo esperar e fica mais fraca à medida que modelos e ferramentas de reescrita melhoram. Nenhum dos contra-argumentos afirma que um único parágrafo pode ser julgado com certeza. Para ver como isso se dá com um detector comercial, leia o Turnitin detecta texto humanizado?

• Trechos curtos carregam a maior incerteza. Um resumo ou um único parágrafo é exatamente onde o limite por amostra pesa. Benchmarks como o RAID mostram como o desempenho varia entre cenários.
• Os erros vão nos dois sentidos. Os detectores deixam passar texto de máquina reescrito e também podem sinalizar texto humano, como mostram os estudos sobre o viés contra autores não nativos.
• Uma pontuação é uma probabilidade, não um veredito. Instituições que a tratam como prova estão contando com mais certeza do que a pesquisa sustenta.

Onde o Academic Humanizer se encaixa

Se a detecção é incerta no nível de um parágrafo, a resposta sensata para autores honestos é olhar para as frases que determinam a pontuação em vez de tentar adivinhar. O Academic Humanizer analisa o rascunho em busca de frases que os detectores sinalizam, reescreve só essas, mantendo sentido, números e citações, e deixa como estão as frases lidas como humanas. O Relatório de Detecção de IA compara as versões de antes e depois pelo mesmo critério e diz com clareza se algo continua sinalizado. Você revisa e aprova cada alteração, e consultar a política de IA da sua instituição ou revista continua fazendo parte do trabalho.