Fast-DetectGPT et Binoculars : une détection d'IA moins coûteuse

Fast-DetectGPT et Binoculars sont deux détecteurs zero-shot de texte IA qui ont rendu l'idée de DetectGPT assez peu coûteuse pour être appliquée à grande échelle. Tous deux déterminent si un passage a été écrit par une machine en se demandant à quel point ses mots sont prévisibles pour un modèle de langage, et tous deux le font en une seule passe au lieu des cent réécritures qu'exigeait DetectGPT. Fast-DetectGPT a été présenté à ICLR 2024 ; Binoculars à ICML 2024.

Cet article explique les deux méthodes à des lecteurs extérieurs au TAL, présente les chiffres rapportés par les auteurs, puis examine la question qui compte le plus pour les chercheurs : comment ces détecteurs traitent une prose humaine soignée et formelle.

Leur origine : le problème de coût de DetectGPT

DetectGPT a montré qu'un texte machine se situe généralement sur un pic local de la probabilité d'un modèle. Pour le mesurer, il réécrivait chaque passage une centaine de fois avec un modèle distinct et réévaluait chaque copie. Cela fonctionnait, mais lentement. Les auteurs de Fast-DetectGPT l'ont chronométré sur leur benchmark : 79 113 secondes sur un GPU A100. Leur propre méthode a pris 233 secondes.

Comment fonctionne Fast-DetectGPT : la courbure de probabilité conditionnelle

L'astuce consiste à travailler mot par mot. À chaque position du passage, un modèle de langage dispose d'une distribution sur les mots suivants possibles compte tenu des mots précédents. Fast-DetectGPT se demande : le mot effectivement employé faisait-il partie des choix favoris du modèle à cette position, par rapport à ce que le modèle choisirait habituellement ?

1. Fixer le contexteGarder le vrai passage en place pour que chaque position ait ses véritables mots précédents.
2. Échantillonner des alternativesÀ chaque position, tirer des tokens alternatifs à partir d'un modèle d'échantillonnage, indépendamment des autres positions.
3. Évaluer les deuxUn modèle d'évaluation donne la log-probabilité des vrais tokens et celle des tokens échantillonnés.
4. NormaliserSoustraire le score moyen des échantillons et diviser par leur dispersion. Un résultat élevé signifie que le texte choisit anormalement souvent les mots favoris du modèle.

Les auteurs appellent cela la courbure de probabilité conditionnelle. Comme les échantillons sont tirés token par token avec le vrai contexte maintenu fixe, tout le calcul ne demande qu'une ou deux passes avant au lieu d'une centaine. Dans la configuration en boîte noire, où le modèle source est inconnu, ils ont utilisé GPT-J comme modèle d'échantillonnage et GPT-Neo-2.7B comme modèle d'évaluation.

Ce que rapporte Fast-DetectGPT

En moyenne sur cinq modèles sources en boîte blanche, Fast-DetectGPT a atteint une AUROC de 0,9887 contre 0,9554 pour DetectGPT. Sur des textes ChatGPT et GPT-4 en boîte noire, il a atteint 0,9338 contre 0,7225. L'AUROC va de 0,5, un pile ou face, à 1,0, une séparation parfaite.

• DetectGPT, boîte blanche0,9554
• Fast-DetectGPT, boîte blanche0,9887
• DetectGPT, boîte noire (ChatGPT, GPT-4)0,7225
• Fast-DetectGPT, boîte noire (ChatGPT, GPT-4)0,9338

Source : Bao et al., Fast-DetectGPT, ICLR 2024, tableau 1

Comment fonctionne Binoculars : la perplexité divisée par la perplexité croisée

Binoculars, d'Abhimanyu Hans et de ses collègues, s'attaque à une autre faiblesse. La perplexité brute, qui mesure la surprise d'un modèle face à un texte, confond deux choses : le fait que le texte soit écrit par une machine et le fait que le sujet soit inhabituel. Les auteurs donnent un exemple marquant qu'ils appellent le problème du capybara. Demandez à un chatbot d'écrire sur un capybara astrophysicien : le résultat surprendra un modèle bien qu'une machine l'ait écrit, parce que le sujet lui-même est étrange.

Binoculars corrige ce biais avec deux modèles étroitement apparentés, un observateur et un exécutant (dans l'article, Falcon-7B-Instruct et Falcon-7B). Il calcule deux grandeurs :

• Log-perplexité : la surprise du modèle observateur face au texte réel.
• Log-perplexité croisée : la surprise moyenne de l'observateur face à ce que le modèle exécutant aurait prédit à chaque position. C'est une référence de ce que serait la surprise d'un texte machine sur ce sujet.

Le score Binoculars est le rapport de la première sur la seconde. Une consigne étrange fait monter les deux valeurs, si bien que le rapport reste bas pour un texte machine. L'écriture humaine est généralement plus surprenante que la référence machine, et son rapport est donc plus élevé.

• Texte écrit par une machine
• Texte écrit par un humain

Exemple illustratif de l'idée, pas des données de l'un ou l'autre article

Ce que rapporte Binoculars

Sur un ensemble varié de types de documents, Binoculars a détecté plus de 90 % des échantillons générés par ChatGPT à un taux de faux positifs de 0,01 %, soit un texte humain sur dix mille. Il n'avait jamais vu de données ChatGPT pendant son développement. Les auteurs ont aussi testé des essais de non-natifs issus d'un forum en ligne, en version originale et en version corrigée grammaticalement, et ont rapporté la même exactitude, 99,67 %, dans les deux cas. La question de savoir si les outils commerciaux se généralisent de la même façon d'un chatbot à l'autre est distincte ; elle est traitée dans Turnitin détecte-t-il ChatGPT, Claude et Gemini ?

Limites et faux positifs sur les textes formels

Les deux articles rapportent des chiffres solides sur leurs benchmarks. Quelques réserves s'imposent lorsque ces idées se retrouvent dans des outils qui jugent de vrais manuscrits.

Une écriture humaine prévisible reste jugée prévisible

Les deux détecteurs récompensent la surprise. L'écriture académique l'évite souvent délibérément : descriptions de méthodes standard, formules figées, précautions de langage et terminologie du domaine rendent le texte plus facile à prédire. Les auteurs de Fast-DetectGPT avertissent eux-mêmes que les détecteurs de ce type peuvent présenter des taux de faux positifs plus élevés sur des textes de non-natifs. Binoculars s'en est bien sorti sur son test d'essais d'apprenants, ce qui est encourageant, mais un jeu de données d'essais d'étudiants n'équivaut pas à une section de méthodes en recherche clinique. Notre article sur le biais des détecteurs envers les non-natifs présente l'étude qui a soulevé cette inquiétude.

Un texte mémorisé ressemble à un texte machine

L'équipe de Binoculars a testé 11 textes célèbres. Trois sont tombés du côté machine de leur seuil, car les passages qu'un modèle a mémorisés sont très prévisibles pour lui. Les auteurs notent que c'est cohérent avec le fonctionnement du détecteur, et que cela peut être acceptable pour certains usages mais problématique pour d'autres. Les définitions citées et les passages standard de l'écriture académique posent une question similaire.

Paraphrase et inadéquation du modèle

Aucun des deux articles ne revendique de résistance à une réécriture délibérée, et les auteurs de Binoculars précisent qu'ils n'ont pas étudié les attaques adverses. Fast-DetectGPT s'affaiblit aussi lorsque le modèle d'évaluation diffère du modèle source et lorsque les passages sont courts. Comme toutes les méthodes zero-shot de ce type lisent des probabilités de tokens, un passage substantiellement réécrit devient un autre objet à évaluer. La recherche sur les attaques par paraphrase, présentée dans peut-on détecter de façon fiable un texte généré par IA ?, montre jusqu'où les scores peuvent bouger.

Ce que cela signifie avec Academic Humanizer

Comme ces détecteurs réagissent au degré de prévisibilité de chaque portion de texte, un brouillon essentiellement humain peut encore contenir quelques phrases qui paraissent mécaniques. Academic Humanizer cible précisément celles-ci : il repère les phrases signalées par les détecteurs, ne réécrit qu'elles en conservant votre argumentation, vos données, vos citations et vos termes, et laisse toutes les autres phrases intactes. Le rapport de détection d'IA compare ensuite les versions originale et révisée sur la même mesure pour que vous puissiez examiner chaque modification, et vous devriez toujours vérifier la politique de votre établissement ou de votre revue en matière d'IA avant de soumettre.