Articles de recherche sur la détection IA : 11 études clés à lire

Si vous voulez comprendre la détection de textes générés par IA plutôt que de vous fier aveuglément à un score, une douzaine d'articles font l'essentiel du travail. Ils expliquent comment les détecteurs mesurent un texte, quelle est leur robustesse, qui ils pénalisent à tort et avec quelle facilité une réécriture de surface fait basculer leur verdict. Cette liste de lecture en présente onze, de 2019 à 2024, plus une étude écrite pour les enseignants.

Chaque entrée donne le titre complet, les auteurs, la revue ou conférence, un résultat vérifié et un lien vers l'article. Lorsque nous avons publié une explication plus longue, elle est également indiquée.

1. 2019 : les premiers outilsGLTR et le détecteur de sorties GPT-2 illustrent deux approches toujours dominantes : les statistiques sur les tokens et les classifieurs entraînés.
2. 2023 : zero-shot et filigranesDetectGPT et le filigranage des LLM proposent une détection sans classifieur entraîné.
3. 2023 : premiers tests de résistanceDIPPER montre le contournement par paraphrase ; Liang et al. montrent un biais envers les non-natifs.
4. 2024 : détecteurs moins coûteux, benchmarks plus vastesFast-DetectGPT, Binoculars et Ghostbuster améliorent la détection, tandis que RAID et M4 la testent à grande échelle.

Les fondations : les débuts de la détection

1. GLTR: Statistical Detection and Visualization of Generated Text

Sebastian Gehrmann, Hendrik Strobelt, Alexander M. Rush · ACL 2019 (System Demonstrations)

GLTR colore chaque mot selon le rang que lui attribuait un modèle de langage. Un texte machine reste plutôt parmi les choix les mieux classés, alors que les humains choisissent plus souvent des mots inattendus. Dans une étude auprès de participants, GLTR a fait passer leur taux de repérage des textes générés de 54 % à 72 %, sans formation préalable. Son idée centrale, selon laquelle la prévisibilité est un signal, sous-tend la plupart des détecteurs actuels. Article

2. Release Strategies and the Social Impacts of Language Models

Irene Solaiman et al. (OpenAI) · Rapport, 2019

Ce rapport sur la publication progressive de GPT-2 décrit le classifieur basé sur RoBERTa devenu le très utilisé « GPT-2 Output Detector ». Les auteurs indiquent qu'il détectait les textes du GPT-2 à 1,5 milliard de paramètres avec une exactitude d'environ 95 %. Le même détecteur réapparaît dans des évaluations ultérieures : dans RAID, il dépassait 95 % sur les textes GPT-2 dans cinq domaines, mais atteignait rarement 60 % sur les textes d'autres modèles. Article

Détection zero-shot et filigranage

3. DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature

Eric Mitchell, Yoonho Lee, Alexander Khazatsky, Christopher D. Manning, Chelsea Finn · ICML 2023

DetectGPT part du constat qu'un texte écrit par un modèle se situe en général sur un pic local de la log-probabilité du modèle : de petites perturbations le rendent moins probable. La méthode ne nécessite aucune donnée d'entraînement, seulement les probabilités du modèle et un modèle de perturbation comme T5. Sur de fausses dépêches générées par GPT-NeoX, elle a fait passer l'AUROC de 0,81 (meilleure méthode zero-shot antérieure) à 0,95. Lisez notre explication de DetectGPT. Article

4. A Watermark for Large Language Models

John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein · ICML 2023

Plutôt que de deviner à partir du style, cette approche insère un signal au moment de la génération. Avant chaque mot, une « liste verte » pseudo-aléatoire de tokens est tirée et légèrement favorisée ; un détecteur compte ensuite les tokens verts et applique un test statistique aux p-valeurs interprétables, sans avoir besoin du modèle lui-même. Cela ne fonctionne que si le fournisseur du modèle l'active. Lisez notre explication du filigranage. Article

Tests de résistance : contournement et biais

5. Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense

L'article sur DIPPER (encadré ci-dessus) est le point de départ de la recherche sur les humanizers. Un paraphraseur de 11 milliards de paramètres a affaibli le filigranage, DetectGPT, GPTZero et le classifieur d'OpenAI tout en conservant le sens. La parade proposée, qui consiste à rechercher un contenu correspondant parmi les générations stockées par le fournisseur, repérait de 80 % à 97 % des paraphrases pour un taux de faux positifs de 1 %. Lisez notre explication de DIPPER.

6. GPT detectors are biased against non-native English writers

Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou · Patterns, 2023

Sept détecteurs populaires ont été testés sur 91 essais TOEFL rédigés par des non-natifs et 88 essais d'élèves américains de quatrième (eighth grade). Quasi parfaits sur les essais américains, ils ont signalé plus de la moitié des essais TOEFL comme IA, avec un taux moyen de faux positifs de 61,22 % ; 89 essais sur 91 ont été signalés par au moins un détecteur. Enrichir le vocabulaire de ces mêmes essais a ramené le taux à 11,77 %. Lisez notre explication du biais des détecteurs. Article

2024 : des détecteurs plus rapides et des benchmarks plus exigeants

7. Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text via Conditional Probability Curvature

Guangsheng Bao, Yanbin Zhao, Zhiyang Teng, Linyi Yang, Yue Zhang · ICLR 2024

Fast-DetectGPT remplace l'étape de perturbation coûteuse de DetectGPT par une mesure de la courbure de probabilité conditionnelle fondée sur l'échantillonnage. Les auteurs rapportent une amélioration relative d'environ 75 % par rapport à DetectGPT, en boîte blanche comme en boîte noire, et une détection environ 340 fois plus rapide. Article

8. Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text

Abhimanyu Hans et al. · ICML 2024

Binoculars compare le degré de surprise d'un texte pour un modèle avec le degré de surprise des prédictions d'un modèle pour un autre. Sans aucune donnée d'entraînement, il détecte plus de 90 % des échantillons issus de ChatGPT et d'autres LLM pour un taux de faux positifs de 0,01 %. Dans RAID, c'est lui qui se distinguait aux faibles taux de faux positifs. Lisez notre explication de Fast-DetectGPT et Binoculars. Article

9. Ghostbuster: Detecting Text Ghostwritten by Large Language Models

Vivek Verma, Eve Fleisig, Nicholas Tomlin, Dan Klein · NAACL 2024

Ghostbuster fait passer les documents dans plusieurs modèles de langage plus faibles, explore les combinaisons de leurs caractéristiques et entraîne un classifieur sur le résultat ; il n'a donc pas besoin d'accéder aux probabilités du modèle cible. Il a atteint un F1 de 99,0 tous domaines confondus, soit 5,9 points de plus que le meilleur modèle antérieur, et s'accompagne de nouveaux jeux de données de dissertations d'étudiants, d'écriture créative et d'articles de presse. Article

10. M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection

Yuxia Wang et al. · EACL 2024

M4 couvre six générateurs (dont GPT-4, ChatGPT, Cohere, Dolly-v2 et BLOOMz), des domaines allant de Wikipédia aux résumés arXiv et aux évaluations par les pairs, et sept langues : arabe, bulgare, chinois, anglais, indonésien, russe et ourdou. Son principal constat : les détecteurs peinent à généraliser à des domaines et des modèles inédits, et dans ces cas ont tendance à juger humain un texte machine. M4 a servi de base à la tâche 8 de SemEval-2024. Article

11. RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors

Liam Dugan et al. · ACL 2024

RAID teste 12 détecteurs sur plus de 6 millions de générations issues de 11 modèles, 8 domaines, 4 stratégies de décodage et 11 attaques adverses, chaque détecteur étant calibré sur le même taux de faux positifs. Des détecteurs excellents dans un contexte peuvent échouer dans un autre, et une simple pénalité de répétition a fait baisser l'exactitude de jusqu'à 32 points. Lisez notre explication de RAID. Article

Une de plus pour les enseignants

Testing of detection tools for AI-generated text, de Debora Weber-Wulff et al. (International Journal for Educational Integrity, 2023), a testé 14 outils sur 54 documents contrôlés. Aucun n'a atteint 80 % d'exactitude, et la paraphrase automatique a fait tomber l'exactitude moyenne à 26 %. Lisez notre synthèse de l'étude portant sur 14 outils ou l'article. Pour la théorie expliquant pourquoi la détection pourrait rester difficile, consultez notre article sur la possibilité de détecter de façon fiable un texte IA. Pour ce que regardent les enseignants au-delà d'un score, voir les professeurs peuvent-ils détecter l'IA ?

Comment lire ces articles

• Vérifiez le taux de faux positifs. Un chiffre d'exactitude sans lui est difficile à interpréter. C'est pourquoi DIPPER, Binoculars et RAID rapportent tous la détection à un faible taux de faux positifs fixé.
• Vérifiez quels modèles et domaines ont été testés. Des résultats sur GPT-2 ou sur des textes de presse ne se transposent pas forcément à un modèle actuel qui rédige une section de méthodes.
• Notez la date. Les outils commerciaux évoluent souvent : un score de 2023 pour un produit donné n'est qu'un instantané.
• Regardez qui est signalé à tort. Liang et al. comme Weber-Wulff et al. montrent que les erreurs frappent surtout les textes de non-natifs et les textes traduits.

La place d'Academic Humanizer

Lus ensemble, ces articles montrent que les détecteurs réagissent à des statistiques de surface qu'une écriture humaine soignée peut partager. Academic Humanizer est conçu pour les chercheurs dont les idées sont mal étiquetées pour cette raison. Le Humanizer ne réécrit que les phrases signalées par les détecteurs, conserve votre argumentation, vos chiffres et vos citations, et son rapport de détection d'IA compare le brouillon et le résultat sur la même mesure pour que vous puissiez examiner chaque modification. Comme toujours, consultez la politique de votre établissement ou de votre revue en matière d'IA avant toute soumission.