Erkennt Turnitin KI-Wasserzeichen? LLM-Wasserzeichen erklärt

Turnitin beschreibt seinen KI-Detektor öffentlich als trainierten Klassifikator, der Schreibmuster bewertet; vom Auslesen von Wasserzeichen ist dabei keine Rede. LLM-Wasserzeichen sind eine andere Idee: eine Methode, ein statistisches Signal schon beim Schreiben in KI-generierten Text einzubetten, damit Software mit einem geheimen Schlüssel später bestätigen kann, woher der Text stammt. Die bekannteste Methode, „A Watermark for Large Language Models“ von John Kirchenbauer und Kollegen (ICML 2023), schiebt das Modell sanft in Richtung einer geheimen, zufällig gewählten Menge „grüner“ Wörter. Leser sehen davon nichts, aber ein einfacher statistischer Test kann die grünen Wörter zählen und das Muster schon in einer kurzen Passage erkennen.

Wasserzeichen tauchen in Gesprächen über KI-Erkennung häufig auf und werden oft missverstanden. Dieser Beitrag erklärt, wie die Green-List-Methode funktioniert, was die Studie berichtet, wie Änderungen das Signal schwächen und was heute tatsächlich im Einsatz ist.

So funktioniert das Green-List-Wasserzeichen

Ein Sprachmodell schreibt ein Token nach dem anderen, wobei ein Token ein Wort oder ein Wortteil ist. Vor der Wahl jedes Tokens geht das Wasserzeichenverfahren so vor:

1. Seed aus dem vorherigen TokenDas gerade erzeugte Token wird gehasht, um einen Zufallszahlengenerator zu initialisieren.
2. Vokabular aufteilenMit diesem Seed wird das gesamte Vokabular in eine grüne Liste (einen Anteil γ der Wörter) und eine rote Liste (den Rest) geteilt.
3. Die Chancen verschiebenVor dem Sampling erhalten grüne Tokens einen kleinen Bonus δ auf ihre Werte, sodass grüne Wörter wahrscheinlicher werden.
4. Normal sampelnDas nächste Token wird gewählt. Das wiederholt sich an jeder Position im Text.

Die Studie beschreibt zwei Varianten. Ein hartes Wasserzeichen verbietet rote Tokens ganz, was den Text beschädigen kann, wenn das einzig sinnvolle nächste Wort zufällig rot ist. Das weiche Wasserzeichen, das die meisten meinen, verschiebt nur die Chancen. Ist das Modell sicher (niedrige Entropie, etwa bei „Barack“ gefolgt von „Obama“), spielt der Bonus kaum eine Rolle, und die Qualität bleibt geschützt. Wenn viele Wörter gleich gut passen würden, entscheidet der Bonus, und grüne Wörter häufen sich.

The survey results suggest that rural clinics face persistent staffing gaps across both regions.

Beispiel zur Veranschaulichung. Grün = Token auf der grünen Liste dieser Position, rot = rote Liste. Text ohne Wasserzeichen würde etwa einen Anteil γ an grünen Tokens zeigen.

Das Wasserzeichen erkennen: der z-Test

Für die Erkennung braucht man keinen Zugriff auf das Modell. Wer den geheimen Hash-Schlüssel besitzt, kann die grüne Liste jeder Position aus dem vorherigen Token rekonstruieren und zählen, wie viele Tokens der Passage grün sind. Menschlicher Text weiß nichts von den Listen, daher ist zufällig etwa ein Anteil γ seiner Tokens grün. Text mit Wasserzeichen hat mehr.

Der Test fragt, wie überraschend die Zahl der grünen Tokens ist. Bei T Tokens, davon G grün, verwendet die Studie den z-Test für einen Anteil:

z = (G − γT) / √(T × γ × (1 − γ))

Liegt z über einem Schwellenwert, gilt der Text als mit Wasserzeichen versehen. Bei einem Schwellenwert von z = 4 liegt die Wahrscheinlichkeit, dass Text ohne Wasserzeichen ihn zufällig überschreitet, bei etwa 0,00003, also drei von hunderttausend. Die Rechnung zeigt auch, warum kurze Abschnitte genügen können: Mit γ = 0,5 und einem harten Wasserzeichen ergeben 16 durchweg grüne Tokens bereits z = 4.

In den Experimenten der Studie mit einem OPT-Modell mit mehreren Milliarden Parametern, Sequenzen von etwa 200 Tokens, δ = 2 und γ = 0,5 bei gewöhnlichem multinomialem Sampling erkannte der Test 98,4 % der Texte mit Wasserzeichen, ohne falsch positive Ergebnisse in diesem Setting. Ein größeres δ macht das Wasserzeichen stärker und leichter erkennbar, kostet aber etwas Textqualität.

Wie gut das Wasserzeichen Änderungen übersteht

Weil die grüne Liste jeder Position vom vorherigen Token abhängt, stört die Änderung eines Wortes den Grün-Rot-Status nur an wenigen Positionen, nicht im ganzen Text. Die Autoren testeten einen Angriff, der Abschnitte mit einem T5-Modell ersetzte. Er schwächte das Wasserzeichen, verschlechterte den Text aber auch spürbar. Es gab also einen Zielkonflikt zwischen dem Entfernen des Signals und einem noch brauchbaren Text.

Spätere Arbeiten testeten härtere Angriffe:

• Paraphrasieren. Sadasivan und Kollegen berichteten, dass rekursives Paraphrasieren die Erkennung von 300-Token-Passagen mit Wasserzeichen bei einer Falsch-positiv-Rate von 1 % von 99,3 % auf 9,7 % senkte. Siehe Lässt sich KI-generierter Text zuverlässig erkennen?
• Spoofing. Dieselbe Studie zeigte, dass Angreifer die grünen Listen aus Modellausgaben schätzen und menschlichen Text fälschen können, der wie Text mit Wasserzeichen aussieht. Die AUROC des Detektors fiel dadurch von 99,8 % auf 1,3 %.
• Eine Verteidigung der Zuverlässigkeit. Kirchenbauers Team antwortete mit „On the Reliability of Watermarks for Large Language Models“ (ICLR 2024): Wasserzeichen blieben nach menschlichem und maschinellem Paraphrasieren erkennbar, weil Paraphrasen Fragmente des Originals behalten. In einem Setting mit starker menschlicher Umformulierung brauchte die Erkennung im Schnitt etwa 800 Tokens bei sehr niedriger Falsch-positiv-Rate.

Fair zusammengefasst: Leichte Änderungen lassen das Wasserzeichen intakt, starkes Umschreiben schwächt es, und längere Texte geben dem Detektor mehr Material. Unser Beitrag zu DIPPER-Paraphrasierung behandelt die Seite des Umschreibens ausführlicher.

Warum Turnitin keine Wasserzeichen nutzt

Ein Wasserzeichen lässt sich nur in Text eines Modells finden, das es gesetzt hat, und nur von jemandem, der den Schlüssel besitzt. Die meisten Texte, die Menschen in einen Detektor einfügen, stammen von vielen verschiedenen Modellen, und die meisten davon teilen keinen Wasserzeichenschlüssel mit einem Anbieter von Erkennungstools. Deshalb arbeiten kommerzielle Detektoren anders. Turnitins öffentliche Beschreibung seiner KI-Schreiberkennung beschreibt einen trainierten Transformer-Klassifikator: Die Einreichung wird in überlappende Segmente geteilt, jeder Satz wird bewertet, und die Werte werden zu einer Schätzung für das Dokument zusammengeführt. Nichts in dieser Beschreibung hat mit dem Auslesen eines Wasserzeichens zu tun. Wir erklären den Indikator in Turnitins KI-Erkennungswert erklärt und die verschiedenen Detektortypen in So funktionieren KI-Detektoren. Was Turnitin nach eigener Aussage über verschiedene Chatbots hinweg erkennt, lesen Sie in Erkennt Turnitin ChatGPT, Claude und Gemini?

Wo Wasserzeichen in der Industrie stehen

Wasserzeichen haben den Sprung aus der Forschung in mindestens ein großes Produktivsystem geschafft. Google DeepMind veröffentlichte im Oktober 2024 in Nature „Scalable watermarking for identifying large language model outputs“ und beschrieb darin SynthID-Text, das nur den Sampling-Schritt verändert und ohne Ausführung des Sprachmodells erkennt. Das Team berichtete von einem Live-Experiment mit fast 20 Millionen Gemini-Antworten, das keinen Verlust bei der von Nutzern bewerteten Qualität zeigte.

OpenAI war vorsichtiger. In einem Update vom August 2024 hieß es, die eigene Methode für Textwasserzeichen sei gegen lokale Manipulationen wie Paraphrasieren sehr genau, weniger aber gegen globale Änderungen wie Übersetzung oder Umformulierung mit einem anderen Modell, und sie könne Gruppen wie Nicht-Muttersprachler des Englischen unverhältnismäßig treffen. Das Tool war damals nicht veröffentlicht.

Wasserzeichen existieren also und funktionieren in dem engen Fall, für den sie gebaut wurden: zu bestätigen, dass das Modell eines bestimmten Anbieters einen Text erzeugt hat. Die allgemeine Frage, ob überhaupt irgendeine KI an einem Manuskript beteiligt war, beantworten sie nicht.

Was das mit Academic Humanizer zu tun hat

Für die meisten Forschenden sind im Alltag Klassifikatoren entscheidend, die den Stil jedes Satzes bewerten, nicht Wasserzeichenleser. Auf dieser Ebene arbeitet Academic Humanizer: Er findet die Sätze, die Detektoren markieren, schreibt nur diese um, wobei Aussagen, Zahlen, Zitate und Fachbegriffe erhalten bleiben, und lässt den Rest des Entwurfs so, wie er geschrieben wurde. Der KI-Erkennungsbericht stellt jeden markierten Satz seiner Neufassung zur Prüfung gegenüber, und die KI-Offenlegungsregeln Ihrer Hochschule oder Zeitschrift sollten Sie trotzdem beachten.