Turnitin détecte-t-il un filigrane IA ? Le watermarking expliqué

La description publique que donne Turnitin de son détecteur d'IA est celle d'un classifieur entraîné qui évalue des motifs d'écriture ; elle ne mentionne pas la lecture de filigranes. Le filigrane (watermarking) des LLM est une autre idée : un moyen de cacher un signal statistique dans un texte généré par IA au moment même de sa rédaction, afin qu'un logiciel détenant une clé secrète puisse ensuite en confirmer l'origine. La méthode la plus connue, "A Watermark for Large Language Models" de John Kirchenbauer et ses collègues (ICML 2023), pousse le modèle vers un ensemble secret de mots « verts » choisis au hasard. Le lecteur ne voit rien, mais un simple test statistique peut compter les mots verts et détecter le motif dans un passage court.

Les filigranes reviennent souvent dans les discussions sur la détection d'IA, et ils sont fréquemment mal compris. Cet article explique le fonctionnement de la méthode des listes vertes, les résultats publiés dans l'article, la manière dont les modifications affaiblissent le signal et ce qui est réellement déployé aujourd'hui.

Comment fonctionne le filigrane à liste verte

Un modèle de langage écrit un token à la fois, un token étant un mot ou un fragment de mot. Avant de choisir chaque token, le dispositif de filigrane procède ainsi :

1. Graine tirée du token précédentLe token qui vient d'être généré est haché pour initialiser un générateur de nombres aléatoires.
2. Partage du vocabulaireCette graine sert à diviser tout le vocabulaire en une liste verte (une fraction γ des mots) et une liste rouge (le reste).
3. Pencher la balanceUn petit bonus, δ, est ajouté aux scores des tokens verts avant l'échantillonnage, ce qui rend les mots verts plus probables.
4. Échantillonner normalementLe token suivant est choisi. L'opération se répète à chaque position du texte.

L'article décrit deux variantes. Le filigrane dur interdit purement et simplement les tokens rouges, ce qui peut abîmer le texte lorsque le seul mot suivant sensé se trouve être rouge. Le filigrane doux, celui auquel on pense le plus souvent, se contente de pencher la balance. Quand le modèle est sûr de lui (faible entropie, comme "Barack" suivi de "Obama"), le bonus compte à peine et la qualité est préservée. Quand de nombreux mots conviendraient aussi bien, le bonus tranche, et les mots verts s'accumulent.

The survey results suggest that rural clinics face persistent staffing gaps across both regions.

Exemple illustratif. Vert = token figurant sur la liste verte de sa position, rouge = liste rouge. Un texte sans filigrane présenterait environ une part γ de vert.

Détecter le filigrane : le test du score z

La détection ne nécessite pas d'accès au modèle. Quiconque détient la clé de hachage secrète peut reconstruire la liste verte de chaque position à partir du token précédent et compter combien de tokens du passage sont verts. Un texte humain ignore tout de ces listes : environ une fraction γ de ses tokens sera verte par hasard. Un texte filigrané en aura davantage.

Le test mesure à quel point le nombre de tokens verts est surprenant. Avec T tokens, dont G verts, l'article utilise le test z pour une proportion :

z = (G − γT) / √(T × γ × (1 − γ))

Si z dépasse un seuil, le texte est signalé comme filigrané. Avec un seuil de z = 4, la probabilité qu'un texte sans filigrane le franchisse par hasard est d'environ 0,00003, soit trois sur cent mille. Le calcul montre aussi pourquoi des passages courts peuvent suffire : avec γ = 0,5 et un filigrane dur, 16 tokens tous verts donnent déjà z = 4.

Dans les expériences de l'article, menées avec un modèle OPT de plusieurs milliards de paramètres, des séquences d'environ 200 tokens, δ = 2 et γ = 0,5 en échantillonnage multinomial ordinaire, le test a repéré 98,4 % des textes filigranés, sans aucun faux positif dans ce cadre. Un δ plus grand rend le filigrane plus fort et plus facile à détecter, au prix d'une certaine perte de qualité du texte.

La résistance du filigrane aux modifications

Comme la liste verte de chaque position dépend du token précédent, changer un mot perturbe le statut vert ou rouge de quelques positions seulement, pas de tout le texte. Les auteurs ont testé une attaque qui remplaçait des segments à l'aide d'un modèle T5. Elle a affaibli le filigrane, mais les remplacements ont aussi nettement dégradé le texte : il fallait arbitrer entre supprimer le signal et garder une écriture utilisable.

Des travaux ultérieurs ont testé des attaques plus fortes :

• La paraphrase. Sadasivan et ses collègues ont rapporté qu'une paraphrase récursive faisait chuter la détection de passages filigranés de 300 tokens de 99,3 % à 9,7 %, pour un taux de faux positifs de 1 %. Voir peut-on détecter de façon fiable un texte généré par IA ?
• L'usurpation. Le même article montrait qu'un attaquant pouvait estimer les listes vertes à partir des sorties du modèle et forger un texte humain ayant l'apparence d'un texte filigrané, faisant passer l'AUROC du détecteur de 99,8 % à 1,3 %.
• Une défense de la fiabilité. L'équipe de Kirchenbauer a répondu avec "On the Reliability of Watermarks for Large Language Models" (ICLR 2024) : les filigranes restaient détectables après une paraphrase humaine ou automatique, car les paraphrases conservent des fragments de l'original. Dans un cas de reformulation humaine poussée, la détection demandait en moyenne environ 800 tokens pour un taux de faux positifs très faible.

En résumé, honnêtement : des retouches légères laissent le filigrane intact, une réécriture lourde l'affaiblit, et les textes plus longs donnent davantage de matière au détecteur. Notre article sur la paraphrase avec DIPPER détaille le volet réécriture.

Pourquoi Turnitin n'utilise pas de filigranes

Un filigrane ne se trouve que dans un texte issu d'un modèle qui l'a appliqué, et seulement par quelqu'un qui détient la clé. La plupart des textes collés dans un détecteur proviennent de nombreux modèles différents, dont la majorité ne partage aucune clé de filigrane avec un fournisseur de détection. C'est pourquoi les détecteurs commerciaux fonctionnent autrement. La description publique que donne Turnitin de sa détection d'écriture IA évoque un classifieur transformer entraîné : le texte soumis est découpé en segments qui se chevauchent, chaque phrase reçoit un score, et les scores sont combinés en une estimation pour le document. Rien dans cette description ne relève de la lecture d'un filigrane. Nous expliquons cet indicateur dans le score de détection IA de Turnitin expliqué, et les grands types de détecteurs dans comment fonctionnent les détecteurs d'IA. Ce que Turnitin dit détecter d'un chatbot à l'autre est traité dans Turnitin détecte-t-il ChatGPT, Claude et Gemini ?

Où en est le filigrane dans l'industrie

Le filigrane est passé de la recherche à au moins un grand système en production. Google DeepMind a publié "Scalable watermarking for identifying large language model outputs" dans Nature en octobre 2024, décrivant SynthID-Text, qui ne modifie que l'étape d'échantillonnage et détecte sans exécuter le modèle de langage. L'équipe a fait état d'une expérience en conditions réelles portant sur près de 20 millions de réponses de Gemini, sans perte de qualité perçue par les utilisateurs.

OpenAI a adopté une ligne plus prudente. Dans une mise à jour d'août 2024, l'entreprise indiquait que sa propre méthode de filigrane textuel était très précise face à des altérations localisées comme la paraphrase, mais moins face à des changements globaux comme la traduction ou la reformulation par un autre modèle, et qu'elle pouvait pénaliser de façon disproportionnée certains groupes, comme les locuteurs non natifs de l'anglais. L'outil n'avait pas été publié à ce moment-là.

Les filigranes existent donc et fonctionnent dans le cas précis pour lequel ils ont été conçus : confirmer que le modèle d'un fournisseur donné a produit un texte. Ils ne répondent pas à la question générale de savoir si une IA quelconque est intervenue dans un manuscrit.

Le lien avec Academic Humanizer

Pour la plupart des chercheurs, les détecteurs qui comptent au quotidien sont des classifieurs qui notent le style de chaque phrase, et non des lecteurs de filigrane. C'est à ce niveau que travaille Academic Humanizer : il repère les phrases signalées par les détecteurs, ne réécrit que celles-ci en conservant affirmations, chiffres, citations et termes, et laisse le reste du brouillon tel quel. Le rapport de détection IA présente chaque phrase signalée à côté de sa réécriture pour que vous puissiez la relire, et vous devez toujours respecter les règles de déclaration de l'IA de votre établissement ou de votre revue.