Comment marchent les détecteurs d'IA et pourquoi ils vous signalent

Les détecteurs d'IA fonctionnent en mesurant à quel point un texte paraît prévisible pour un modèle de langage, pas en lisant le sens, et c'est aussi pourquoi votre propre texte peut être signalé comme IA. Certains s'appuient sur des statistiques simples comme la perplexité et la burstiness, d'autres sur un classifieur entraîné sur des exemples étiquetés, et quelques-uns sur des filigranes cachés insérés dans le texte au moment de la génération. Aucun ne sait qui a écrit le texte. Ils jugent si son profil ressemble à une production machine.

Chaque méthode a son point faible, et presque toutes en partagent un : une prose soignée, formelle et conventionnelle est prévisible par nature. C'est pourquoi une section de méthodes bien relue peut obtenir un score plus proche de « IA » qu'un billet de blog brouillon. Voici comment fonctionnent les principales approches, ce que dit la recherche sur leurs limites, et pourquoi l'écriture académique se trouve si près de la ligne de décision.

Le signal de base : à quel point le modèle est-il surpris ?

Un modèle de langage attribue une probabilité à chaque mot suivant possible (plus précisément, à chaque token suivant). Quand un modèle génère du texte, il tend à choisir des tokens de forte probabilité, car c'est ce que produit l'échantillonnage. Les auteurs humains ne sont pas soumis à cette règle. Nous choisissons un verbe inattendu, revenons sur un détail mentionné trois pages plus tôt, ou cassons un schéma pour insister.

La perplexité traduit cela en un nombre. On soumet un passage à un modèle, on évalue la probabilité de chaque token compte tenu de ce qui précède, et on fait la moyenne. Une faible perplexité signifie que le modèle a trouvé le texte facile à prédire. Une perplexité élevée signifie qu'il a été surpris à répétition. L'article explicatif de GPTZero définit la perplexité à peu près en ces termes et considère les scores élevés comme un signe d'écriture humaine (GPTZero).

The results of this study suggest that soil moisture plays an important role in seedling survival, though only after the second frost.

En vert : les tokens attendus par le modèle. En neutre : les mots liés au sujet. En rouge : les tokens que le modèle jugeait improbables. La première moitié se lit comme un gabarit ; c'est la réserve tardive que remarque un lecteur humain, et un détecteur.

L'idée est antérieure à ChatGPT. GLTR, un outil de 2019 conçu par des chercheurs de Harvard et d'IBM, colorait chaque mot selon son rang dans les prédictions d'un modèle pour aider les humains à repérer les textes générés. Dans leur étude, la visualisation a fait passer le taux de détection de lecteurs non formés de 54 % à 72 % (Gehrmann et al., démo ACL 2019).

La burstiness : la variation d'une phrase à l'autre

La perplexité se mesure sur les tokens. La burstiness regarde un niveau au-dessus : à quel point la prévisibilité varie d'une phrase à l'autre. La prose humaine a tendance à alterner. Une courte phrase affirmative, puis une longue phrase avec deux subordonnées et une parenthèse, puis un fragment. Le texte généré garde souvent un rythme plus régulier, avec des phrases de longueur et de structure similaires.

Un détecteur qui suit la burstiness vérifie si le passage présente ces pics et ces creux. Un profil plat pousse le score vers « IA ». Le hic, c'est que de nombreux genres sont plats à dessein. Les résumés, les descriptions de protocoles et les textes juridiques ou réglementaires valorisent tous des phrases uniformes.

La perplexité et la burstiness sont faciles à expliquer, ce qui explique leur place dans les articles grand public. Elles ne racontent pourtant plus toute l'histoire. GPTZero indique lui-même être passé à une architecture d'apprentissage profond et ne considérer désormais ces deux mesures que comme une partie de ses indicateurs, et non comme sa méthode principale.

Les classifieurs entraînés

La plupart des détecteurs commerciaux actuels sont des classifieurs supervisés. Une équipe rassemble de grands ensembles de textes écrits par des humains et par des machines, les étiquette, puis affine un réseau de neurones pour les distinguer. Le réseau apprend tout ce qui sépare les deux piles : choix des mots, fréquence des expressions, habitudes de ponctuation, forme des paragraphes, et des motifs que personne n'a nommés.

Les classifieurs peuvent être très exacts sur des textes proches de leurs données d'entraînement. Ghostbuster, un système de recherche qui fournit à un classifieur des caractéristiques issues de plusieurs modèles de langage plus faibles, a rapporté un F1 de 99,0 tous domaines confondus sur son benchmark (Verma et al., NAACL 2024). Le problème, c'est la dérive. Un classifieur entraîné sur une génération de modèles, un ensemble de genres et un réglage de décodage peut flancher dès que l'un d'eux change. Le benchmark RAID, avec plus de 6 millions de générations issues de 11 modèles, 8 domaines et 11 attaques adverses, a montré que les détecteurs sont facilement trompés par un changement de stratégie d'échantillonnage, des modèles inconnus et des attaques simples (Dugan et al., ACL 2024).

L'avertissement le plus clair est venu d'OpenAI. Son propre classifieur de texte IA, lancé en janvier 2023, ne repérait correctement que 26 % des textes écrits par IA de son jeu de test et étiquetait à tort 9 % des textes humains. OpenAI l'a retiré en juillet 2023 en invoquant son faible taux d'exactitude (OpenAI).

Les méthodes statistiques zero-shot

Une deuxième famille de détecteurs se passe entièrement d'entraînement. Ces méthodes zero-shot utilisent les probabilités d'un modèle de langage pour tester un passage.

DetectGPT, de Stanford, repose sur une observation : un texte échantillonné à partir d'un modèle tend à se situer sur un pic local de la log-probabilité de ce modèle. Modifiez quelques mots avec un second modèle (les auteurs ont utilisé T5), et le texte machine perd vite en probabilité, tandis que le texte humain varie de façon moins prévisible. Sur de faux articles de presse générés par un modèle de 20 milliards de paramètres, DetectGPT a atteint 0,95 d'AUROC contre 0,81 pour la meilleure méthode zero-shot de référence (Mitchell et al., ICML 2023).

• Passage généré par une machine
• Passage écrit par un humain

Forme illustrative, fondée sur la méthode décrite par Mitchell et al. (2023)

DetectGPT est coûteux, car il évalue de nombreuses copies perturbées de chaque passage. Fast-DetectGPT a remplacé l'étape de perturbation par une estimation par échantillonnage moins coûteuse et a rapporté une amélioration relative d'environ 75 % et une accélération d'un facteur 340 (Bao et al., ICLR 2024). Binoculars compare la façon dont deux modèles étroitement apparentés évaluent le même texte, et a rapporté détecter plus de 90 % des échantillons ChatGPT à un taux de faux positifs de 0,01 % sans entraînement sur des données ChatGPT (Hans et al., ICML 2024).

Les filigranes

Le filigranage déplace la détection au moment de la génération. Dans le schéma proposé par Kirchenbauer et ses collègues, le modèle répartit à chaque étape son vocabulaire en listes « vertes » et « rouges » à l'aide d'un hachage du token précédent, puis oriente légèrement l'échantillonnage vers les tokens verts. Un détecteur qui connaît la règle de hachage compte les tokens verts et applique un test statistique. Un texte humain se situe près du hasard ; un texte filigrané compte trop de tokens verts (Kirchenbauer et al., ICML 2023).

Les filigranes ne fonctionnent que si le modèle qui a écrit le texte en a appliqué un, et seulement pour les détecteurs qui connaissent la clé. Ils s'affaiblissent aussi en cas de retouche importante. Krishna et al. ont montré qu'un paraphraseur entraîné faisait passer le taux de détection de DetectGPT de 70,3 % à 4,6 % à un taux de faux positifs de 1 %, et que la détection des filigranes se dégradait également (Krishna et al., NeurIPS 2023). En pratique, les détecteurs utilisés par votre université ou votre revue sont donc des classifieurs et des outils de scoring statistique, pas des lecteurs de filigranes.

Scores par phrase et scores par document

Les détecteurs ne rendent pas leurs résultats au même niveau de détail. Certains renvoient une seule probabilité pour l'ensemble du document. D'autres évaluent chaque phrase ou courte fenêtre, surlignent celles qui sont suspectes, puis les agrègent en un pourcentage. Turnitin, par exemple, surligne des phrases et a fait état d'un taux de faux positifs d'environ 4 % au niveau de la phrase dans sa propre documentation (Turnitin).

Le scoring par phrase est plus informatif mais plus bruité. Une phrase compte peu de tokens, si bien que son estimation de perplexité est instable. Le scoring par document est plus stable mais masque l'endroit où se situe le problème. Nous détaillons ce compromis dans la détection d'IA phrase par phrase, et les raisons du désaccord entre outils dans pourquoi les détecteurs d'IA ne sont pas d'accord.

Pourquoi la prose académique formelle frôle la limite

Toutes les méthodes ci-dessus récompensent la surprise et pénalisent la convention. Or l'écriture académique repose sur la convention. Les disciplines standardisent leurs formulations pour que les lecteurs puissent parcourir rapidement les articles : « Participants were randomly assigned to », « These findings are consistent with », « Further research is needed to ». Les guides de style découragent les effets. Les auteurs non natifs s'appuient souvent sur un vocabulaire plus restreint et plus sûr. Tout cela fait baisser la perplexité.

La preuve la plus claire vient de Liang et al., à Stanford. Ils ont soumis à sept détecteurs des essais TOEFL rédigés par des non-natifs anglophones et des essais d'élèves américains de quatrième (eighth grade). Les détecteurs étaient quasi parfaits sur les essais de natifs, mais ont classé les essais TOEFL comme IA dans 61,3 % des cas en moyenne. Lorsque les chercheurs ont utilisé ChatGPT pour enrichir le vocabulaire de ces mêmes essais, le taux moyen de faux positifs est tombé à 11,6 % (Liang et al., Patterns 2023).

• Essais originaux61,3 %
• Après enrichissement du vocabulaire11,6 %

Source : Liang et al., « GPT detectors are biased against non-native English writers », Patterns 2023

La leçon n'est pas que les détecteurs sont inutiles. C'est que leurs scores reflètent autant le style que la paternité. Un chercheur soigneux qui écrit un anglais simple et rigoureux peut se retrouver du mauvais côté de la ligne sans aucune intervention de l'IA. Nous examinons cet effet de plus près dans notre analyse de l'étude de Liang et dans pourquoi une prose formelle peut sembler écrite par une IA. Pour des techniques de révision qui préservent vos idées, voir comment éviter la détection IA dans l'écriture académique.

La place d'Academic Humanizer

Academic Humanizer a été conçu pour ce dernier problème. Le Humanizer analyse un brouillon phrase par phrase, ne réécrit que les phrases signalées par les détecteurs et laisse le reste exactement tel que vous l'avez écrit, en conservant votre argumentation, vos chiffres, vos citations et votre terminologie. Le rapport de détection d'IA intégré affiche chaque phrase signalée à côté de sa réécriture et compare les deux versions, et les résultats sont vérifiés face à des détecteurs dont Turnitin, GPTZero et Originality.ai. Avant d'utiliser un outil sur un travail à rendre, consultez la politique de votre établissement ou de votre revue en matière d'IA, et relisez vous-même le résultat avant de l'envoyer où que ce soit.