La paraphrase contourne-t-elle la détection IA ? L'article DIPPER

La paraphrase contourne-t-elle la détection IA ? Dans un test de 2023, en grande partie oui : des chercheurs de l'UMass Amherst et de Google ont montré qu'un seul passage dans un bon modèle de paraphrase suffisait à faire échapper un texte généré par IA à la plupart des détecteurs, tout en laissant son sens presque intact. Leur article, présenté à NeurIPS 2023, a fait passer le taux de détection de DetectGPT de 70,3 % à 4,6 %, à un taux de faux positifs fixé à 1 %. Il proposait aussi une défense qui ne repose pas du tout sur la lecture du style du texte.

Cet article est le point de départ de la plupart des travaux ultérieurs sur les humanizers IA et la robustesse des détecteurs. Voici ce qu'il a fait, ce qu'il a trouvé, et ce que cela signifie pour les personnes qui écrivent avec l'aide de l'IA.

Ce qu'est DIPPER

DIPPER (pour Discourse Paraphraser) est un modèle de 11 milliards de paramètres affiné à partir de T5-XXL. À l'époque, la plupart des paraphraseurs travaillaient phrase par phrase. DIPPER a été entraîné à réécrire des paragraphes entiers, à exploiter le contexte environnant comme l'amorce d'origine, et à réordonner le contenu d'une phrase à l'autre.

Ses données d'entraînement proviennent de PAR3, un jeu de données réunissant plusieurs traductions anglaises des mêmes romans non anglophones. Deux traducteurs qui rendent le même paragraphe produisent naturellement des paraphrases l'un de l'autre, avec des choix de mots et un ordre des phrases différents mais le même contenu. Le modèle disposait ainsi d'exemples réalistes de la façon dont on exprime une même idée de plusieurs manières.

DIPPER propose deux réglages, tous deux définis au moment de l'inférence :

• Diversité lexicale (L) : l'ampleur des changements de formulation. Les auteurs indiquent que L = 20 correspond à peu près à une modification lexicale de 20 %.
• Diversité d'ordre (O) : l'ampleur de la réorganisation du contenu au sein du paragraphe.

Dans les expériences principales, L valait 20, 40 ou 60 et O valait 0 ou 60, et chaque texte n'était paraphrasé qu'une seule fois, sans nouvelles tentatives jusqu'à réussite.

Comment le test a été conçu

Les auteurs ont généré des textes de 300 tokens avec trois modèles de tailles très différentes : GPT-2 XL (1,5 milliard de paramètres), OPT-13B et GPT-3.5 (text-davinci-003). Les tâches consistaient à prolonger librement des passages de Wikipédia et à répondre à des questions sous forme de texte long.

Ils ont ensuite testé cinq détecteurs : le filigrane de Kirchenbauer et al., DetectGPT, GPTZero, le classifieur de texte IA d'OpenAI et RankGen. Chaque détecteur était réglé sur un taux de faux positifs de 1 %, c'est-à-dire qu'un seul texte humain sur 100 serait signalé à tort. Les auteurs soutiennent que c'est la bonne façon de juger les détecteurs, en ajoutant que même 1 % est probablement trop élevé en pratique.

Pour vérifier que les paraphrases conservaient le sens, ils ont utilisé P-SP, un modèle de similarité sémantique, ainsi qu'une évaluation humaine.

Ce qu'il est advenu des taux de détection

• DetectGPT, texte GPT-2 XL70,3 %
• DetectGPT, après paraphrase4,6 %
• Filigrane, texte GPT-2 XL100 %
• Filigrane, après paraphrase57,2 %
• Classifieur OpenAI, texte GPT-3.530,0 %
• Classifieur OpenAI, après paraphrase15,6 %

Source : Krishna et al. 2023, section 4.3 (génération libre à partir de Wikipédia).

Quels que soient le modèle, le détecteur et la tâche, la paraphrase a réduit la détection à tous les niveaux de diversité. Dans le même temps, 88 % à 99 % des paraphrases dépassaient la similarité médiane de paires de paraphrases écrites par des humains : le sens était donc largement préservé.

Deux autres constats ressortent :

• Le filigranage s'est montré le plus résistant. Il repérait encore une majorité des textes GPT-2 XL paraphrasés, car certains tokens filigranés survivent à la reformulation. Sa force vient d'un signal inséré au moment de la génération, un type de preuve différent du style. Consultez notre explication du filigranage pour comprendre le fonctionnement de ce signal.
• Les détecteurs sans filigrane étaient faibles avant même la paraphrase sur les modèles les plus grands. GPTZero et RankGen repéraient moins de 15 % des textes IA non paraphrasés dans ces configurations, et DetectGPT passait de 74,9 % sur GPT-2 XL à 29,8 % sur OPT-13B en questions-réponses longues. OpenAI a retiré son classifieur en juillet 2023, invoquant une faible exactitude.

Pourquoi une réécriture fidèle au sens change le verdict

Le résultat semble surprenant jusqu'à ce qu'on se rappelle ce que mesurent ces détecteurs. Comme nous l'expliquons dans comment fonctionnent les détecteurs d'IA, les détecteurs statistiques comme DetectGPT évaluent la probabilité de chaque token selon un modèle de langage. Un détecteur de filigrane compte les tokens d'une « liste verte » secrète. Aucun des deux ne lit l'argument.

Une paraphrase conserve l'argument mais retire chaque choix de mot à partir de la distribution d'un autre modèle. Les tokens qui donnaient au texte original son allure machine, ou son filigrane, sont remplacés par d'autres tokens de même sens. Le détecteur voit une nouvelle empreinte statistique ; le lecteur voit le même paragraphe.

C'est l'idée centrale que l'article transmet à tous ceux qui ont suivi : la détection fondée sur le style mesure la forme de surface, et la forme de surface peut changer alors que le sens reste fixe. La même idée explique pourquoi une légère retouche humaine déroute les détecteurs dans les tests en classe, et pourquoi l'article de Sadasivan et al., publié à la même période, soutenait que la détection pourrait être fondamentalement limitée.

La défense par recherche de correspondance

La seconde moitié de l'article propose une défense qui ne dépend pas du style. Au lieu de se demander « ce texte a-t-il l'air écrit par une machine ? », elle se demande « notre modèle a-t-il écrit quelque chose qui a ce sens ? ».

1. StockerLe fournisseur du modèle de langage conserve dans une base de données chaque sortie générée par son API.
2. EncoderLe texte à vérifier est transformé en une représentation de son contenu.
3. RechercherLe système cherche des générations stockées au contenu correspondant, avec BM25 ou le modèle sémantique P-SP.
4. DéciderSi une correspondance suffisamment proche existe, le texte est signalé comme provenant du modèle de ce fournisseur.

Comme une paraphrase conserve le contenu, elle correspond toujours à l'original stocké. Avec une base de 15 millions de générations, la recherche a détecté de 80 % à 97 % des textes paraphrasés selon les configurations, tout en ne signalant que 1 % des textes humains. En questions-réponses longues, la recherche BM25 a repéré 97,8 %, 97,3 % et 96,2 % des textes les plus fortement paraphrasés issus des trois modèles, contre 55,8 %, 51,4 % et 38,1 % pour le meilleur détecteur concurrent.

Les auteurs discutent ouvertement des limites. La recherche ne fonctionne que si le fournisseur la met en œuvre, elle ne peut détecter que les sorties de ce fournisseur, et elle soulève de vraies questions de stockage, de confidentialité et de fausses correspondances à mesure que les bases grossissent. Les modèles à poids ouverts exécutés localement y échappent totalement.

La lignée de recherche sur les humanizers

DIPPER a défini le modèle sur lequel les travaux suivants se sont appuyés : transformer un texte IA avec un modèle distinct, mesurer la détection à un faible taux de faux positifs fixé, et vérifier que le sens a survécu. SICO a montré le même effet avec le seul prompting. Le benchmark RAID a fait de la paraphrase l'une de ses onze attaques standard. Des travaux plus récents orientent la paraphrase à l'aide des retours du détecteur lui-même.

Pour les auteurs académiques, la leçon n'est pas une recette. C'est une mise en garde sur ce que peut signifier le verdict d'un détecteur. Un signalement, ou son absence, reflète la façon dont les statistiques de surface d'un texte s'alignent sur les attentes d'un modèle. Il ne dit rien de fiable sur la personne qui a eu les idées. C'est pourquoi vos brouillons et vos notes comptent davantage que n'importe quel score, et pourquoi vous devez vérifier les règles de votre établissement ou de votre revue sur l'aide de l'IA et la déclarer lorsque c'est requis. Les détecteurs commerciaux ont aussi évolué depuis ; voir Turnitin peut-il détecter un texte humanisé ?

La place d'Academic Humanizer

Academic Humanizer applique la leçon de ces recherches dans l'autre sens : puisque les détecteurs réagissent à des motifs de surface, l'objectif est de changer le moins possible tout en conservant l'essentiel. Le Humanizer ne réécrit que les phrases signalées par les détecteurs, laisse le reste exactement tel qu'il a été écrit, et conserve affirmations, chiffres, précautions de langage et citations. Son rapport de détection d'IA associe chaque phrase signalée à sa réécriture pour que vous puissiez vérifier le sens ligne par ligne avant d'utiliser le résultat.