Quelle est la précision des détecteurs d'IA ? Ce que montre RAID

Quelle est la précision des détecteurs d'IA ? Beaucoup affichent 99 % ou plus. Le benchmark RAID, présenté à ACL 2024, a été conçu pour mettre ce type d'affirmation à l'épreuve sur un jeu de données commun et difficile. Sa réponse : les détecteurs peuvent atteindre une précision très élevée, mais seulement dans des conditions étroites, souvent seulement en tolérant de nombreux faux positifs, et de simples changements dans la manière de générer le texte, ou de légères retouches, peuvent les mener au bord de l'échec.

Voici ce que contient RAID, comment il mesure les détecteurs, et pourquoi ses chiffres correspondent rarement à ceux des pages d'accueil des éditeurs.

Ce que contient RAID

RAID est volontairement volumineux. Les jeux de données de détection antérieurs utilisaient en général un ou deux générateurs, un seul réglage de décodage et aucune attaque, ce qui flatte les détecteurs. RAID fait varier tous ces paramètres à la fois.

Dix pour cent des données sont réservées, sans étiquettes, comme jeu de test caché, et les auteurs tiennent un classement public pour que les nouveaux détecteurs puissent être comparés sur un pied d'égalité. Un ensemble distinct, RAID-extra, ajoute 2,3 millions de générations de code Python, d'actualités tchèques et d'actualités allemandes.

Les résumés d'articles scientifiques font partie des huit domaines, ce qui rend RAID plus pertinent pour les auteurs académiques que des benchmarks construits uniquement sur des actualités ou des textes du web.

Pourquoi le taux de faux positifs change tout

Un détecteur produit un score. Pour le transformer en « IA » ou « humain », quelqu'un choisit un seuil. Les auteurs de RAID montrent que ce choix compte bien plus que ne l'admet la plupart des discours marketing.

D'abord, ils ont examiné ce qui se passe avec un seuil naïf comme 0,5. Plusieurs détecteurs open source, en particulier ceux fondés sur des métriques, ont produit ce que les auteurs qualifient de taux de faux positifs dangereusement élevés. Les détecteurs commerciaux étaient mieux calibrés : aucun ne dépassait 1,7 % de faux positifs aux seuils courants testés.

Ensuite, ils ont tracé la précision en fonction du taux de faux positifs. Les détecteurs pouvaient atteindre les précisions très élevées citées dans des rapports devenus viraux, mais seulement en tolérant un taux de faux positifs tout aussi élevé. À mesure que le taux toléré baissait, la plupart chutaient fortement, et rares étaient ceux capables de fonctionner sous 1 %. Certains n'ont même jamais atteint le taux le plus bas testé, plafonnant à 16,9 % (ZeroGPT), 0,88 % (Fast-DetectGPT) et 0,62 % (Originality). Binoculars faisait clairement exception, en se maintenant bien à faible taux de faux positifs.

• Taux de détection sur le texte IA
• Taux de faux positifs sur le texte humain

Exemple illustratif du compromis mesuré par RAID, et non des données de l'article.

Pour le reste de l'article, chaque détecteur est calibré à un taux de faux positifs de 5 % sur les textes humains de RAID, et la précision est rapportée à ce point. C'est la seule façon équitable de comparer les outils, et c'est aussi pourquoi les chiffres de RAID paraissent plus bas que ceux des éditeurs, qui souvent n'indiquent aucun taux de faux positifs.

Échantillonnage, pénalités de répétition et modèles inconnus

Certains des résultats les plus frappants de RAID ne font intervenir aucune attaque, seulement des réglages de génération ordinaires.

Pénalité de répétition. L'ajout d'une pénalité de répétition, qui dissuade le modèle de réutiliser les mêmes tokens, a fait baisser la précision jusqu'à 32 points, tous détecteurs, générateurs et domaines confondus. Les auteurs notent qu'aucune étude antérieure sur la robustesse des détecteurs n'en avait fait état, alors même que ces pénalités rendent le texte plus humain.

Stratégie de décodage. Toutes les catégories de détecteurs obtenaient des résultats nettement meilleurs sur le décodage glouton que sur l'échantillonnage aléatoire.

Générateurs inconnus. Le détecteur RoBERTa entraîné sur des sorties de GPT-2 dépassait 95 % sur du texte GPT-2 dans cinq domaines, mais dépassait rarement 60 % sur du texte d'autres modèles dans les mêmes domaines. Les détecteurs sont à leur meilleur sur les modèles et domaines sur lesquels ils ont été entraînés, et les auteurs ont observé des tendances similaires dans les outils commerciaux.

L'article le résume sans détour : changer de générateur, de stratégie de décodage ou ajouter une pénalité de répétition suffisait à provoquer des taux d'erreur de 95 % ou plus chez des détecteurs qui semblaient par ailleurs excellents.

L'effet des attaques adverses selon les détecteurs

Les attaques de RAID sont des modifications volontairement simples, en boîte noire. Leur effet variait beaucoup d'un détecteur à l'autre, ce qui constitue l'un des enseignements les plus utiles de l'article.

• Originality, sans attaque85,0 %
• Originality, attaque par homoglyphes9,3 %
• Binoculars, sans attaque79,6 %
• Binoculars, remplacement par synonymes43,5 %
• GPTZero, sans attaque66,5 %
• GPTZero, attaque par homoglyphes66,2 %

Source : Dugan et al. 2024, tableau 6.

• Remplacer une petite partie des mots par des synonymes faisait perdre jusqu'à 36,1 points à Binoculars et aux autres méthodes fondées sur des métriques.
• Les homoglyphes, des caractères visuellement identiques mais dotés de points de code différents, pénalisaient presque tous les détecteurs. GPTZero ne perdait que 0,3 point ; cinq autres chutaient en moyenne de 40,6 points.
• Les détecteurs entraînés de façon adverse, comme RADAR, résistaient bien mieux.
• Certaines attaques aidaient. Le détecteur RoBERTa GPT-2 gagnait 16,2 points après une paraphrase par T5, probablement parce que le paraphraseur rapprochait le texte des propres données d'entraînement du détecteur.

Derrière tout cela se retrouve le même schéma que dans des études plus modestes, comme le test de 14 outils mené par Weber-Wulff et ses collègues : les détecteurs lisent des statistiques de surface, et chacun lit des statistiques différentes. Une modification qui laisse le sens intact peut quand même faire franchir à un texte la ligne d'un détecteur.

Pourquoi les chiffres des benchmarks diffèrent de ceux des éditeurs

Quand une page produit annonce 99 %, il s'agit généralement de 99 % sur le jeu de test de l'éditeur, issu des modèles, domaines et réglages pour lesquels le détecteur a été entraîné, à un seuil que le lecteur ignore. RAID diffère sur chacun de ces points :

• Il fixe et publie le taux de faux positifs, si bien que la précision ne peut pas s'acheter au prix de textes humains signalés à tort.
• Il inclut des modèles et des domaines qu'un détecteur n'a peut-être jamais vus.
• Il fait varier des réglages de décodage que les utilisateurs et les outils modifient couramment.
• Il applique des retouches peu coûteuses que subissent de toute façon les vrais textes, comme les fautes de frappe, les changements de mise en forme et les reformulations.

Aucun des deux chiffres n'est faux. Ils répondent à des questions différentes. Le chiffre de l'éditeur indique comment un outil se comporte dans les conditions pour lesquelles il a été conçu. RAID indique comment il se comporte quand ces conditions changent, ce qui est plus proche du sort d'un vrai manuscrit. Cet écart explique aussi une bonne partie de ce que nous abordons dans pourquoi les détecteurs d'IA ne sont pas d'accord sur un même paragraphe.

Les auteurs posent une limite ferme dans leur déclaration éthique : compte tenu des problèmes de faux positifs non résolus, ils s'opposent à l'utilisation des détecteurs dans des contextes disciplinaires ou punitifs tant que de meilleures normes d'évaluation ne seront pas largement adoptées.

Ce que cela signifie pour les auteurs académiques

Si vous écrivez avec l'aide d'une IA, RAID rappelle que tout score de détecteur dépend de réglages que vous ne voyez pas. Considérez un résultat comme une mesure parmi d'autres, vérifiez ce que dit la politique de votre établissement ou de votre revue sur l'aide de l'IA, et conservez une trace de votre processus de rédaction. Si un score est utilisé contre vous, des preuves issues de benchmarks comme celui-ci constituent une base légitime pour demander un examen humain ; notre article que faire si votre texte est signalé à tort comme écrit par une IA détaille les étapes pratiques. Turnitin détecte-t-il ChatGPT, Claude et Gemini ? examine la même question pour Turnitin, que RAID n'a pas testé.

La place d'Academic Humanizer

Parce que les détecteurs divergent et évoluent, Academic Humanizer vérifie ses résultats auprès de plusieurs d'entre eux plutôt que d'un seul. Il est validé avec Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling et Originality.ai. Le Humanizer ne réécrit que les phrases signalées par les détecteurs, conserve votre terminologie, vos chiffres et vos citations, et son rapport de détection IA présente le brouillon et le résultat côte à côte selon la même mesure, y compris les phrases encore signalées, pour que vous décidiez quoi réviser avant de soumettre.