Les détecteurs d'IA sont-ils précis ? Une étude sur 14 outils

Les détecteurs d'IA sont-ils précis ? Pas vraiment, selon l'un des tests publics les plus soigneusement documentés à ce jour. En 2023, huit chercheurs spécialistes de l'intégrité académique ont rédigé des textes originaux, en ont généré d'autres avec ChatGPT, en ont retouché et paraphrasé une partie, puis ont soumis les 54 documents à 14 détecteurs. Aucun n'a atteint 80 % d'exactitude. La conclusion, publiée dans l'International Journal for Educational Integrity, était sans appel : les outils n'étaient "neither accurate nor reliable" (ni précis ni fiables).

Cet article explique comment l'étude a été construite, ce que montrent réellement les chiffres, et pourquoi sa leçon la plus utile pour les chercheurs est plus étroite et plus pratique que « les détecteurs ne servent à rien ». Le score d'un détecteur est un signal. Ce n'est pas une preuve.

Comment l'étude a été conçue

La force de cet article tient à son jeu de test. Neuf chercheurs (les huit auteurs et un collaborateur) ont chacun préparé six documents, si bien que la vérité de terrain était connue pour chaque cas. Les textes humains, d'environ 10 000 caractères, ont été rédigés spécialement, à un niveau proche de la licence, dans des domaines comme le génie civil, l'informatique, l'économie, l'histoire, la linguistique et la littérature. Aucun n'avait jamais été publié sur Internet, ce qui exclut qu'un modèle les ait vus pendant son entraînement.

Les détecteurs étaient Check For AI, Compilatio, Content at Scale, Crossplag, DetectGPT, Go Winston, GPT Zero, la démo GPT-2 Output Detector, l'OpenAI Text Classifier, PlagiarismCheck, Turnitin, Writeful GPT Detector, Writer et ZeroGPT. Douze étaient des outils web gratuits ; Turnitin et PlagiarismCheck étaient des systèmes commerciaux qui ont donné accès à l'équipe. Cela représentait 756 tests individuels, menés entre mars et mai 2023.

Comme les outils rendent des probabilités plutôt qu'un oui ou un non, les auteurs ont reporté chaque résultat sur une échelle en cinq niveaux et calculé la précision de trois manières différentes. Le classement des outils n'a presque pas varié d'une méthode à l'autre, ce qui rend les résultats difficiles à balayer comme un simple artefact de notation.

Le chiffre clé : aucun outil n'a atteint 80 %

Tous les outils sont restés sous 80 % de précision, et seuls cinq ont dépassé 70 % : Turnitin, Compilatio, le GPT-2 Output Detector, Crossplag et Go Winston. Turnitin s'est classé premier selon les trois méthodes de notation. La troisième place du GPT-2 Output Detector a surpris les auteurs, puisqu'il n'avait jamais été entraîné sur des sorties de GPT-3.5.

• Turnitin76 %
• Compilatio74 %
• GPT-2 Output Detector Demo72 %
• GPT Zero54 %
• PlagiarismCheck39 %
• Content at Scale33 %

Source : Weber-Wulff et al. 2023, tableau 5 (approche binaire, 54 documents par outil).

Un chiffre de précision globale masque toutefois l'essentiel. Le plus intéressant, c'est l'endroit où chaque outil a échoué.

Là où la précision s'est effondrée

En moyenne, tous outils et méthodes de notation confondus, les textes humains en anglais ont été correctement classés dans 96 % des cas. Le texte ChatGPT non retouché atteignait 74 %. Ensuite, les chiffres ont rapidement chuté.

• Écrit par un humain (01-Hum)96 %
• ChatGPT, non retouché (03/04-AI)74 %
• ChatGPT, retouché à la main (05-ManEd)42 %
• ChatGPT, paraphrasé automatiquement (06-Para)26 %

Source : Weber-Wulff et al. 2023, section 5.1.1 (moyenne de toutes les approches de précision).

Traduction automatique. Les textes humains rédigés dans une autre langue puis traduits automatiquement en anglais ont été correctement classés environ 20 points moins souvent que les textes écrits directement en anglais. La traduction laisse des traces statistiques que les outils interprètent comme une production machine, même quand chaque idée vient d'une personne.

Légères retouches humaines. Remplacer des synonymes et réordonner des propositions, ce genre de passage rapide que les auteurs appellent patchwriting (rapiéçage), a fait tomber la précision moyenne à 42 %.

Paraphrase automatique. Un seul passage dans Quillbot a fait chuter la précision à 26 %. La plupart des textes IA paraphrasés ont été lus comme humains.

Pourquoi des changements aussi superficiels comptent-ils autant ? La plupart des détecteurs ne lisent pas le sens. Comme nous l'expliquons dans comment fonctionnent les détecteurs d'IA, ils évaluent la prévisibilité de chaque mot et l'uniformité du rythme du texte. Changez suffisamment de choix de mots et l'empreinte statistique se déplace, alors que le contenu reste le même. C'est une fragilité du détecteur, pas une propriété de l'écriture.

Un biais vers « humain », et le problème des fausses accusations

À l'exception notable de GPT Zero, tous les outils étaient plus précis sur le texte humain que sur le texte IA. Les auteurs y voient un choix de conception probablement délibéré, et estiment que c'est la direction la plus sûre dans l'enseignement. Les erreurs allaient néanmoins dans les deux sens.

L'équipe a défini un taux de fausses accusations : la part des textes humains pour lesquels le résultat d'un outil conduirait vraisemblablement un enseignant à accuser un étudiant. Pour les textes écrits directement en anglais, la moyenne des outils était de 2,4 %. Pour les textes traduits automatiquement, elle atteignait 11,1 %. La moitié des outils n'a jamais produit de fausse accusation ; GPT Zero faisait figure d'exception avec 50 %, ce qui a conduit les auteurs à le juger inadapté à un usage académique. Turnitin n'a produit aucune fausse accusation sur cet ensemble.

À l'inverse, environ 20 % des textes IA non retouchés sont passés inaperçus en moyenne, et environ la moitié des textes maquillés. L'équipe a aussi constaté qu'un même document obtenait des résultats différents selon les jours : un test Check For AI a indiqué un risque faible, puis un risque élevé cinq jours plus tard. Pour quiconque fait face à une accusation, cette incohérence compte autant que les taux d'erreur.

Le résultat sur la traduction mérite l'attention des chercheurs internationaux en particulier. Écrire dans sa langue maternelle puis traduire son propre travail est une pratique légitime, et pourtant elle a accru le risque de faux signalement dans cette étude. Cela rejoint les résultats que nous présentons dans Les détecteurs GPT sont biaisés contre les auteurs non natifs.

Ce que recommandent les auteurs

Les conclusions s'adressent aux enseignants, et elles sont fermes :

• Le résultat d'un détecteur ne doit jamais être la seule base d'un signalement pour fraude. Contrairement aux logiciels de détection de similitudes, les détecteurs d'IA ne fournissent aucune source vérifiable : l'étudiant n'a rien de concret à réfuter.
• Un signalement peut ouvrir une discussion avec l'étudiant, pas fonder un verdict.
• La prévention doit primer sur la détection : des consignes claires sur les usages éthiques et non éthiques de l'IA générative, et des évaluations repensées pour valoriser le processus d'écriture plutôt que le produit final.
• Les établissements doivent réfléchir aux enjeux juridiques et de confidentialité liés au dépôt des travaux d'étudiants sur des services de détection dans le cloud.

L'article est aussi transparent sur ses limites. Il n'a testé que l'anglais, un seul générateur et des outils tels qu'ils existaient début 2023. Les éditeurs ont depuis mis à jour leurs produits : les pourcentages précis ne doivent donc pas être lus comme des scores actuels. Ce sont la méthode et les schémas d'échec qui restent valables, et des travaux ultérieurs comme le benchmark RAID ont retrouvé les mêmes faiblesses à bien plus grande échelle.

Ce que cela signifie si vous écrivez avec l'aide d'une IA

Si vous êtes chercheur ou étudiant, trois points pratiques en découlent. D'abord, vérifiez ce qu'autorise réellement votre établissement ou la revue visée, et déclarez l'usage de l'IA lorsque c'est exigé. Ensuite, conservez vos brouillons, vos notes et l'historique de vos versions ; les auteurs de l'étude insistent sur le fait que les détecteurs n'apportent aucune preuve, et les traces de votre propre démarche sont la preuve la plus solide dont vous puissiez disposer (voir comment l'historique des brouillons soutient l'intégrité académique). Enfin, si vous êtes signalé, les taux d'erreur publiés vous donnent une base raisonnable pour demander un examen humain. Notre guide que faire si votre texte est signalé à tort comme écrit par une IA vous aide à préparer cette discussion. Si un enseignant soulève un doute, comment les professeurs détectent l'IA explique ce qu'ils regardent d'autre qu'un score.

La place d'Academic Humanizer

Des études comme celle-ci sont la raison d'être d'Academic Humanizer : une prose académique formelle et soigneusement retravaillée peut se situer tout près de la ligne tracée par les détecteurs, et de bonnes idées se retrouvent mal étiquetées. Le Humanizer analyse un brouillon phrase par phrase, ne réécrit que les phrases signalées par les détecteurs et laisse le reste exactement tel que vous l'avez écrit, en préservant vos affirmations, vos chiffres et vos citations. Le rapport de détection IA intégré présente chaque phrase signalée à côté de sa réécriture et compare les deux versions selon la même mesure, pour que vous voyiez ce qui a changé et relisiez vous-même chaque ligne avant de l'utiliser.