Détecteurs d'IA biaisés ? Les faux positifs chez les non-natifs

Les détecteurs d'IA sont-ils biaisés ? Dans le test le plus connu, oui : ils ont produit bien plus de faux positifs sur les textes de non-natifs anglophones que sur ceux de locuteurs natifs. C'est la conclusion centrale de « GPT detectors are biased against non-native English writers », une étude de 2023 menée par Weixin Liang, James Zou et leurs collègues de Stanford, publiée dans la revue Patterns. Sept détecteurs populaires ont qualifié de générés par IA, en moyenne, 61 % des essais TOEFL rédigés par de vrais étudiants, tout en traitant presque parfaitement les essais d'élèves américains de quatrième (eighth grade).

Pour les chercheurs et étudiants internationaux, cet article est la preuve la plus claire qu'un verdict de détecteur peut refléter votre façon d'écrire l'anglais plutôt que votre recours ou non à l'IA. Voici comment l'étude a été menée, pourquoi ce biais existe, et ce qui a changé depuis.

Comment l'étude de Liang et al. a été conçue

Le protocole est simple, et c'est en partie ce qui l'a rendu si convaincant. Les auteurs ont réuni deux ensembles d'essais entièrement écrits par des humains :

• 91 essais TOEFL rédigés par des non-natifs anglophones, recueillis sur un forum éducatif chinois.
• 88 essais d'élèves américains de quatrième, tirés du jeu de données Automated Student Assessment Prize de la Hewlett Foundation.

Ils ont soumis chaque essai à sept détecteurs très utilisés à l'époque : Originality.AI, Quill.org, Sapling, le classifieur d'OpenAI, Crossplag, GPTZero et ZeroGPT. Tous les essais étant écrits par des humains, tout verdict IA constituait un faux positif.

Les résultats : 61 % des essais TOEFL signalés

Les détecteurs étaient quasi parfaits sur les essais américains. Sur les essais TOEFL, le taux moyen de faux positifs des sept outils atteignait 61,22 %. Pire, les erreurs n'étaient pas réparties au hasard.

Dix-huit des 91 essais ont été qualifiés de générés par IA par chacun des détecteurs. Et 89 sur 91 ont été signalés par au moins un. Si un enseignant ou un éditeur soumet l'essai d'un non-natif à l'outil qu'il a sous la main, ces chiffres laissent prévoir une forte probabilité d'au moins une fausse alerte.

Pourquoi cela arrive : perplexité et vocabulaire restreint

De nombreux détecteurs s'appuient sur la perplexité, qui mesure la surprise d'un modèle de langage face à un texte. Un texte machine a généralement une faible perplexité, car les modèles choisissent des mots probables. Le problème, c'est qu'un texte humain peut aussi avoir une faible perplexité pour des raisons parfaitement innocentes.

Les personnes qui écrivent dans une seconde langue utilisent souvent un vocabulaire plus restreint et plus sûr, et des structures de phrases plus courantes. Ce n'est pas un défaut de leur pensée ; c'est ainsi que la plupart des gens écrivent dans une langue apprise plus tard. Mais pour un modèle de langage, ces choix sont prévisibles, et ce qui est prévisible ressemble à une production machine. Les auteurs ont mesuré directement la perplexité et constaté que les essais TOEFL avaient une perplexité nettement plus faible que les essais américains.

• Texte généré par une machine
• Écriture humaine de non-natifs

Exemple illustratif du mécanisme, pas des données de l'article

L'expérience d'enrichissement du vocabulaire

Pour vérifier si le vocabulaire expliquait réellement le biais, les auteurs ont mené l'expérience dans les deux sens en utilisant ChatGPT comme éditeur.

• Enrichir les essais de non-natifs. Ils ont demandé à ChatGPT d'améliorer le vocabulaire des essais TOEFL pour qu'ils sonnent davantage comme ceux d'un locuteur natif. Le taux moyen de faux positifs est tombé de 61,22 % à 11,77 %, et un seul essai sur 91 restait signalé par les sept détecteurs.
• Simplifier les essais de natifs. Ils ont demandé à ChatGPT de simplifier le vocabulaire des essais américains pour imiter l'écriture de non-natifs. Le taux d'erreur de classification est passé en moyenne de 5,19 % à 56,65 %.

• Essais TOEFL, version originale61,22 %
• Essais TOEFL, vocabulaire enrichi11,77 %
• Essais d'élèves américains de 4e, version originale5,19 %
• Essais d'élèves américains de 4e, vocabulaire simplifié56,65 %

Source : Liang et al., « GPT detectors are biased against non-native English writers », Patterns 2023

Le contenu de chaque essai restait identique. Seul le vocabulaire changeait, et les verdicts ont basculé d'environ cinquante points de pourcentage dans chaque sens. Les auteurs ont aussi montré le revers de la médaille : demander à ChatGPT de réécrire ses propres dissertations d'admission et résumés scientifiques dans une langue plus littéraire faisait fortement chuter la détection. Pour les résumés, la détection passait de 68 % au maximum à 28 % au maximum. Leur conclusion : sous leur forme actuelle, les détecteurs risquent de pénaliser les personnes à l'expression linguistique contrainte, tout en étant faciles à contourner pour des utilisateurs déterminés.

Ce que cela signifie pour les chercheurs internationaux

L'anglais scientifique pousse déjà tout le monde vers des formulations standard. Ajoutez à cela l'écriture dans une seconde langue, et la prose de nombreux chercheurs internationaux tombe en plein dans la zone que les détecteurs associent aux machines. Quelques conseils pratiques en découlent, et notre guide sur comment éviter la détection IA dans l'écriture académique les transforme en étapes de révision.

• Un signalement n'est pas une preuve de fraude. Les auteurs ont explicitement mis en garde contre l'usage des détecteurs dans des contextes d'évaluation ou d'enseignement. Si vous êtes signalé, notre guide que faire si votre texte est signalé à tort comme IA explique comment réagir.
• Gardez votre processus visible. Brouillons, notes et historique des versions sont la meilleure réponse à un score contesté. Voir comment l'historique des brouillons soutient l'intégrité académique.
• Formel ne veut pas dire produit par une machine. Le même mécanisme explique pourquoi une prose formelle peut sembler écrite par une IA, même chez des locuteurs natifs.

Limites de l'étude et travaux ultérieurs

L'étude a de vraies limites. Les échantillons sont modestes, 91 et 88 essais, et il s'agit d'essais d'élèves et non d'articles de recherche. Les détecteurs ont été testés début 2023, et chaque éditeur a mis à jour ses modèles depuis. OpenAI a retiré son classifieur plus tard la même année. Les pourcentages exacts décrivent donc ces outils à ce moment-là, pas leurs versions actuelles.

Les recherches ultérieures donnent une image contrastée. Les auteurs de Binoculars, un détecteur zero-shot présenté à ICML 2024, ont testé des essais de non-natifs en version originale et corrigée grammaticalement, et ont rapporté une exactitude de 99,67 % dans les deux cas, ce qui suggère que certaines méthodes sont moins sensibles à cet effet. À l'inverse, les auteurs de Fast-DetectGPT ont signalé des taux de faux positifs plus élevés sur l'écriture de non-natifs comme un risque pour les détecteurs de leur type. Nous comparons ces méthodes dans Fast-DetectGPT et Binoculars expliqués. La tension de fond n'a pas disparu : tout détecteur qui récompense les choix de mots surprenants aura plus de mal à juger un anglais simple et soigné.

L'approche d'Academic Humanizer

Academic Humanizer a été conçu pour les chercheurs dont les idées sont prises à tort pour un texte machine, dont beaucoup écrivent en anglais comme seconde langue. Il vérifie un brouillon phrase par phrase, ne réécrit que les phrases signalées par les détecteurs, et préserve vos affirmations, chiffres, citations et terminologie ; les phrases déjà lues comme humaines restent exactement telles que vous les avez écrites. Le rapport de détection d'IA affiche chaque modification côte à côte pour que vous validiez la formulation finale, et il est recommandé de consulter en parallèle la politique de votre revue ou de votre établissement en matière d'IA.