Dá para enganar detector de IA? SICO e a evasão por prompt explicados

Dá para enganar detectores de IA só com um prompt, sem nenhum modelo extra de paráfrase? Um artigo de 2024 na Transactions on Machine Learning Research diz que sim. O método, SICO, monta um prompt a partir de algumas dezenas de exemplos humanos e, nos testes dos autores, levou seis detectores a um desempenho próximo de cara ou coroa.

Um artigo da NeurIPS 2025 foi além, guiando um parafraseador token por token com as próprias pontuações de um detector. Lidos juntos, os dois artigos falam menos de truques engenhosos e mais de uma fraqueza estrutural na forma como os detectores são construídos. Este post explica os dois e o que eles implicam.

O que o SICO faz, em termos simples

SICO é a sigla de Substitution-based In-Context example Optimization (otimização de exemplos em contexto baseada em substituição). Trabalhos anteriores sobre evasão, como o parafraseador DIPPER, treinavam um modelo separado para reescrever o texto de IA. O SICO faz outra pergunta: se modelos grandes são bons em seguir exemplos, os exemplos certos dentro de um prompt podem fazer o mesmo trabalho?

Em linhas gerais, o método tem três partes:

• Descrever a diferença. O modelo recebe pares de respostas escritas por IA e por humanos para as mesmas tarefas e é solicitado a descrever o que distingue a escrita humana.
• Refinar os exemplos. Os exemplos em contexto são melhorados ao longo de várias rodadas com trocas de sinônimos no nível da palavra e reformulações no nível da frase. Um detector substituto pontua cada candidato, e as mudanças que fazem os exemplos parecerem menos de máquina são mantidas, com a restrição de que o sentido continue parecido.
• Reutilizar o prompt. O prompt final (a descrição das características, a instrução da tarefa e os exemplos refinados) pode então ser usado com novas entradas da mesma tarefa.

A preparação é barata. Os autores relatam que precisaram de apenas 40 exemplos escritos por humanos e de um número limitado de chamadas ao modelo, cerca de 1 USD de uso da API do GPT-3.5 pela estimativa deles. O SICO tem duas formas: o SICO-Gen escreve diretamente o resultado da tarefa, e o SICO-Para reescreve um texto de IA já existente. Instruções simples como "escreva como um humano" são outra história; veja por que prompts simples costumam falhar.

Como foi testado

Os experimentos usaram o GPT-3.5 em três tarefas: redação acadêmica (completar parágrafos da Wikipedia do conjunto de dados SQuAD), perguntas e respostas abertas (perguntas do ELI5) e avaliações falsas do Yelp. Cada tarefa tinha 200 textos gerados por IA e 200 escritos por humanos.

Seis detectores foram testados: um modelo RoBERTa ajustado com textos do GPT-3.5 (também usado como substituto durante a otimização), o detector de saídas do GPT-2 da OpenAI, o GPTZero, o classificador de texto de IA da OpenAI, o DetectGPT e um método de log-rank. O SICO foi comparado com quatro métodos de paráfrase de referência, entre eles o DIPPER e um prompt escrito à mão do tipo "faça soar humano".

A qualidade dos detectores foi medida pela AUC, em que 1,0 significa separação perfeita entre texto de IA e humano e 0,5 não é melhor que o acaso.

O que os resultados mostram

O SICO superou todos os métodos de referência em todas as configurações e, na maioria dos casos, levou a AUC dos detectores para abaixo de 0,5. Na tarefa de redação acadêmica, as quedas foram grandes:

• DetectGPT, original0,834
• DetectGPT, SICO-Para0,149
• GPTZero, original0,779
• GPTZero, SICO-Para0,290
• Detector do GPT-3.5, original0,908
• Detector do GPT-3.5, SICO-Para0,239

Fonte: Lu et al. 2024, Tabela 1 (tarefa de redação). Uma AUC de 0,5 equivale a um palpite aleatório.

Uma AUC bem abaixo de 0,5 significa que o detector classificou o texto do SICO como mais humano do que os próprios textos humanos. Para comparação, o DIPPER, na mesma tarefa, só levou o GPTZero a 0,689.

A qualidade também se manteve. Na avaliação humana da tarefa de redação, o texto do SICO-Gen teve nota 3,84 em legibilidade, contra 3,92 do texto humano, e cumpriu a tarefa em 93,6% dos casos, contra 98,2% dos autores humanos. O DIPPER chegou a 70,6% de tarefas cumpridas.

Os autores também testaram uma defesa. Combinar o detector original com um segundo detector treinado com textos do SICO, ficando com a pontuação mais alta, elevou a AUC na redação com SICO-Para de 0,332 para 0,762 no detector do GPT-2, quase sem perda no texto de IA comum.

Adversarial Paraphrasing: guiando com o próprio detector

A equipe da Universidade de Maryland por trás deste artigo partiu de uma observação justa: detectores mais novos, especialmente os treinados com textos parafraseados, tinham ficado mais difíceis de enganar com paráfrase simples. Nos testes deles, a paráfrase simples chegou a aumentar a taxa de verdadeiros positivos com 1% de falsos positivos em 8,57% no RADAR e em 15,03% no Fast-DetectGPT.

O método não exige treinamento. Um modelo de instruções pronto (o LLaMA-3-8B, na configuração deles) parafraseia o texto e, a cada passo, um detector pontua os tokens candidatos seguintes; escolhe-se o candidato que parece menos de IA. Os autores o descrevem como uma busca guiada pelo detector com um token de profundidade.

Guiado por um detector RoBERTa-Large da OpenAI, o ataque reduziu a taxa de verdadeiros positivos com 1% de falsos positivos em 64,49% no RADAR e em 98,96% no Fast-DetectGPT, com redução média de 87,88% em oito detectores que incluíam classificadores neurais, marcas d'água e métodos zero-shot. A palavra-chave é transferência: otimizar contra um detector enfraqueceu detectores de tipos totalmente diferentes. Os autores relatam quedas na maioria leves na qualidade do texto e analisam essa troca de forma explícita.

O que essa pesquisa diz sobre a robustez dos detectores

Deixando de lado os nomes dos métodos, os dois artigos chegam ao mesmo ponto. Um detector é um classificador que aprendeu uma fronteira entre duas distribuições de texto. Qualquer coisa que possa consultar um detector, ou um substituto razoável dele, pode aprender onde essa fronteira está. O SICO fez isso com um punhado de exemplos no prompt; a Adversarial Paraphrasing, com escolhas token a token. Nenhum dos dois precisou conhecer o funcionamento interno do detector.

Daí decorrem três consequências práticas:

• A detecção vira uma corrida armamentista. Defesas como o conjunto de detectores do SICO ou o treinamento adversarial ajudam contra ataques conhecidos, e cada novo ataque desloca a fronteira outra vez.
• Com a transferência, nenhum detector está seguro só por ser diferente. Otimizar contra um modelo enfraqueceu outros, o que bate com o quadro mais amplo do benchmark RAID.
• Forma de superfície não é autoria. Se mudanças pequenas, que preservam o sentido, viram um veredito, então o veredito estava acompanhando estatísticas de estilo, e não quem fez o trabalho intelectual. É o mesmo motivo pelo qual autores humanos cuidadosos, sobretudo quem não é falante nativo de inglês, acabam sinalizados.

Nada disso torna aceitável burlar as regras de um curso. Os dois artigos apresentam o trabalho como testes de estresse que expõem fraquezas para que a detecção possa melhorar. Se você usa ferramentas de IA no trabalho acadêmico, o caminho honesto é seguir a política da sua instituição ou revista, declarar o uso quando for exigido e guardar os seus rascunhos para que o seu processo fique visível.

Onde entra a Academic Humanizer

Para pesquisadores, a lição útil dessa literatura é que sentido e veredito de detector podem se separar. A Academic Humanizer foi construída para manter o sentido fixo: o Humanizer reescreve só as frases que os detectores sinalizam, preserva suas afirmações, números, terminologia e citações, e deixa intactas as frases lidas como humanas. Ela é validada com Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling e Originality.ai, e o AI Detection Report mostra cada reescrita ao lado do original para que você mesmo aprove cada mudança.