Les détecteurs d'IA sont-ils fiables ? L'article de Sadasivan expliqué

Les détecteurs d'IA sont-ils fiables ? Pas quand quelqu'un cherche activement à les contourner, selon « Can AI-Generated Text Be Reliably Detected? », un article de 2023 signé Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang et Soheil Feizi, et de moins en moins à mesure que les modèles de langage imitent mieux l'écriture humaine. L'article, publié ensuite dans Transactions on Machine Learning Research, est devenu l'un des arguments les plus cités du débat sur les détecteurs d'IA.

Il avance trois thèses. Paraphraser un texte machine, surtout de façon répétée, met en échec tous les grands types de détecteurs. Les détecteurs peuvent aussi être trompés pour signaler un texte humain. Enfin, il existe un plafond mathématique aux performances de tout détecteur. Cet article explique chacune de ces thèses, puis examine les travaux qui les ont contestées.

Thèse 1 : la paraphrase récursive met les détecteurs en échec

L'attaque se décrit simplement. Prenez un passage écrit par un modèle de langage et faites-le passer dans un modèle de paraphrase. Puis paraphrasez la paraphrase, et recommencez. Les auteurs appellent cela la paraphrase récursive et l'ont testée sur des passages d'environ 300 tokens avec plusieurs paraphraseurs, dont DIPPER, un modèle de 11 milliards de paramètres conçu par une autre équipe précisément pour ce type d'étude.

Ils l'ont dirigée contre quatre familles de détecteurs :

• Les détecteurs de filigrane, qui recherchent un motif statistique caché inséré au moment de la génération. Notre explication de l'article sur le filigranage des LLM détaille leur fonctionnement.
• Les classifieurs entraînés, comme le détecteur basé sur RoBERTa publié par OpenAI.
• Les détecteurs zero-shot comme DetectGPT, qui lisent les probabilités du modèle lui-même.
• Les détecteurs par recherche de correspondance, qui comparent un passage à une base de données de tout ce qu'un modèle a généré.

• Filigrane, original (TPR à 1 % de FPR)99,3 %
• Filigrane, après paraphrase récursive9,7 %
• Détecteur zero-shot, original (AUROC)96,5 %
• Détecteur zero-shot, après paraphrase (AUROC)25,2 %

Source : Sadasivan et al., « Can AI-Generated Text be Reliably Detected? », arXiv 2303.11156

Pour les textes filigranés, la paraphrase récursive a fait passer le taux de vrais positifs, à 1 % de faux positifs, de 99,3 % à 9,7 %. Pour le détecteur zero-shot, l'AUROC est tombée de 96,5 % à 25,2 %, soit moins bien qu'un tirage au hasard. Les auteurs ont aussi mené des évaluations humaines et indiquent que les paraphrases conservaient pour l'essentiel le sens et la grammaire, même si la qualité baissait dans certains cas.

Thèse 2 : les détecteurs peuvent être trompés par usurpation

La seconde attaque fonctionne en sens inverse : faire passer un texte humain pour un texte machine. Les auteurs ont montré qu'un attaquant qui se contente d'interroger un modèle filigrané, sans savoir comment fonctionne le détecteur, peut estimer quels mots le filigrane favorise. Écrire avec ces mots fait déclencher le filigrane sur un texte humain. Dans leur expérience, l'usurpation a fait chuter l'AUROC de détection du filigrane souple de 99,8 % à 1,3 % : le détecteur ne distinguait plus les vrais textes filigranés des textes falsifiés.

Pour toute personne dont le travail est contrôlé par des détecteurs, c'est le résultat le plus dérangeant. Un détecteur que l'on peut amener à accuser un texte humain représente un risque de réputation pour les personnes qu'il juge, et pas seulement pour le développeur du modèle.

Thèse 3 : la borne de l'AUROC

Le résultat théorique rattache la détection à un seul nombre. Considérez l'ensemble des textes que des humains pourraient écrire comme une distribution de probabilité, et l'ensemble des textes qu'un modèle pourrait écrire comme une autre. La distance de variation totale entre elles, TV, mesure leur écart, de 0 (identiques) à 1 (aucun recouvrement). L'article démontre que, pour tout détecteur :

AUROC ≤ 1/2 + TV − TV²/2

Quand TV est grande, la borne est lâche et un bon détecteur est possible. À mesure que les modèles progressent et que leur distribution se rapproche de l'écriture humaine, TV diminue et la meilleure AUROC atteignable glisse vers 0,5, c'est-à-dire un pile ou face.

Valeurs calculées à partir de la borne de l'article ; il ne s'agit pas de résultats expérimentaux.

• Distributions éloignées
• Distributions proches

Exemple illustratif du sens de la borne, pas des données de l'article

Les objections

L'article a suscité de vives réponses. Trois méritent d'être connues.

Plus de texte rend la détection de nouveau possible

Souradip Chakraborty et ses collègues ont soutenu, dans un article de position présenté à ICML 2024, « Position: On the Possibilities of AI-Generated Text Detection », que la borne s'applique à un seul échantillon. Si un détecteur dispose de plus de texte, qu'il s'agisse de passages plus longs ou de plusieurs échantillons de même origine, les distributions deviennent plus faciles à distinguer, et la détection reste possible sauf si textes humains et textes machine sont identiques sur toute leur étendue. Ils ont calculé la quantité de texte nécessaire. En résumé : le plafond est réel pour un échantillon, mais il s'élève avec la longueur.

Les filigranes résistent mieux que prévu

L'équipe à l'origine de la méthode de filigrane par liste verte, menée par John Kirchenbauer, a étudié la question dans « On the Reliability of Watermarks for Large Language Models » (ICLR 2024). Elle a constaté que les filigranes restaient détectables après une paraphrase humaine comme automatique, car les paraphrases conservent souvent des fragments de l'original. Dans une configuration avec une forte reformulation humaine, le filigrane devenait détectable après environ 800 tokens en moyenne, à un taux de faux positifs très faible.

La recherche par correspondance comme défense

Kalpesh Krishna et ses collègues, créateurs de DIPPER, ont proposé dans leur article de NeurIPS 2023 qu'un fournisseur de modèle stocke ses propres sorties et y effectue des recherches. Avec 15 millions de générations stockées, ils ont détecté de 80 % à 97 % des sorties paraphrasées pour un taux de faux positifs de 1 %. Sadasivan et al. ont répondu que la paraphrase récursive affaiblit aussi la recherche par correspondance. Nous présentons DIPPER dans comment la paraphrase DIPPER contourne les détecteurs d'IA.

Ce que cela signifie en pratique

Le débat aboutit à une position médiane raisonnable. La détection fonctionne mieux sur des textes longs que courts, mieux lorsque le détecteur sait à quel modèle s'attendre, et s'affaiblit à mesure que les modèles et les outils de réécriture progressent. Aucune des objections ne prétend qu'un paragraphe isolé peut être jugé avec certitude. Pour la façon dont cela se joue avec un détecteur commercial, voir Turnitin peut-il détecter un texte humanisé ?

• Les passages courts sont les plus incertains. Un résumé ou un paragraphe isolé, c'est précisément là que la borne par échantillon s'applique. Des benchmarks comme RAID montrent combien les performances varient selon les contextes.
• Les erreurs vont dans les deux sens. Les détecteurs ratent des textes machine réécrits et peuvent aussi signaler des textes humains, comme le montrent les travaux sur le biais envers les non-natifs.
• Un score est une probabilité, pas un verdict. Les institutions qui le traitent comme une preuve s'appuient sur plus de certitude que la recherche n'en apporte.

La place d'Academic Humanizer

Si la détection reste incertaine à l'échelle d'un paragraphe, la réponse sensée pour des auteurs honnêtes est d'examiner les phrases qui font monter un score plutôt que de deviner. Academic Humanizer analyse un brouillon pour repérer les phrases signalées par les détecteurs, ne réécrit que celles-ci en préservant le sens, les chiffres et les citations, et laisse telles quelles les phrases lues comme humaines. Son rapport de détection d'IA compare les versions avant et après sur la même mesure et indique clairement si quelque chose reste signalé. Vous relisez et validez chaque modification, et vérifier la politique de votre établissement ou de votre revue en matière d'IA fait toujours partie du travail.