Sind KI-Detektoren zuverlässig? Die Studie von Sadasivan et al.

Sind KI-Detektoren zuverlässig? Nicht, wenn jemand aktiv versucht, sie zu umgehen, so „Can AI-Generated Text Be Reliably Detected?“, eine Studie aus dem Jahr 2023 von Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang und Soheil Feizi, und immer weniger, je besser Sprachmodelle menschlich klingen. Die Studie, später in Transactions on Machine Learning Research erschienen, wurde zu einem der meistzitierten Argumente in der Debatte über KI-Detektoren.

Sie stellte drei Behauptungen auf. Das Paraphrasieren von Maschinentext, besonders wiederholt, besiegt jede wichtige Art von Detektor. Detektoren lassen sich zudem so täuschen, dass sie menschlichen Text markieren. Und es gibt eine mathematische Obergrenze dafür, wie gut ein Detektor überhaupt sein kann. Dieser Beitrag erklärt jede Behauptung und betrachtet dann die Arbeiten, die widersprachen.

Behauptung 1: Rekursives Paraphrasieren bricht Detektoren

Der Angriff ist schnell beschrieben. Man nimmt eine von einem Sprachmodell geschriebene Passage und schickt sie durch ein Paraphrasierungsmodell. Dann paraphrasiert man die Paraphrase und wiederholt das. Die Autoren nennen dies rekursives Paraphrasieren und testeten es an Passagen von etwa 300 Tokens mit mehreren Paraphrasierern, darunter DIPPER, ein Modell mit 11 Milliarden Parametern, das ein anderes Team genau für diese Art von Studie gebaut hatte.

Ziel waren vier Detektorfamilien:

• Wasserzeichen-Detektoren, die nach einem versteckten statistischen Muster suchen, das bei der Generierung eingebettet wurde. Wie sie funktionieren, erklärt unser Beitrag zur Studie über LLM-Wasserzeichen.
• Trainierte Klassifikatoren, etwa der RoBERTa-basierte Detektor, den OpenAI veröffentlicht hat.
• Zero-Shot-Detektoren wie DetectGPT, die die Wahrscheinlichkeiten des Modells selbst auswerten.
• Retrieval-Detektoren, die eine Passage mit einer Datenbank aller Texte vergleichen, die ein Modell erzeugt hat.

• Wasserzeichen, Original (TPR bei 1 % FPR)99,3 %
• Wasserzeichen, nach rekursivem Paraphrasieren9,7 %
• Zero-Shot-Detektor, Original (AUROC)96,5 %
• Zero-Shot-Detektor, nach dem Paraphrasieren (AUROC)25,2 %

Quelle: Sadasivan et al., „Can AI-Generated Text be Reliably Detected?“, arXiv 2303.11156

Bei Text mit Wasserzeichen senkte rekursives Paraphrasieren die Richtig-Positiv-Rate bei einer Falsch-Positiv-Rate von 1 % von 99,3 % auf 9,7 %. Beim Zero-Shot-Detektor fiel die AUROC von 96,5 % auf 25,2 %, also schlechter als zufälliges Raten. Die Autoren ließen die Ergebnisse auch von Menschen bewerten und berichteten, dass die Paraphrasen Bedeutung und Grammatik meist erhielten, wenngleich die Qualität in einigen Fällen nachließ.

Behauptung 2: Detektoren lassen sich täuschen

Der zweite Angriff läuft in die Gegenrichtung: menschlichen Text maschinell aussehen lassen. Die Autoren zeigten, dass ein Angreifer, der ein Modell mit Wasserzeichen nur abfragt, ohne zu sehen, wie der Detektor arbeitet, abschätzen kann, welche Wörter das Wasserzeichen bevorzugt. Wer mit diesen Wörtern schreibt, bringt menschlichen Text dazu, das Wasserzeichen auszulösen. In ihrem Experiment drückte dieses Spoofing die Erkennungs-AUROC des weichen Wasserzeichens von 99,8 % auf 1,3 %, das heißt, der Detektor konnte echten Text mit Wasserzeichen nicht mehr von gefälschtem unterscheiden.

Für alle, deren Arbeit von Detektoren geprüft wird, ist das das unangenehmere Ergebnis. Ein Detektor, den man dazu bringen kann, menschliches Schreiben zu beschuldigen, ist ein Reputationsrisiko für die Menschen, über die er urteilt, nicht nur für den Modellentwickler.

Behauptung 3: Die AUROC-Schranke

Das theoretische Ergebnis knüpft die Erkennung an eine einzige Zahl. Stellen Sie sich alle Texte, die Menschen schreiben könnten, als eine Wahrscheinlichkeitsverteilung vor und alle Texte, die ein Modell schreiben könnte, als eine andere. Die Totalvariationsdistanz zwischen beiden, TV, misst, wie verschieden sie sind, von 0 (identisch) bis 1 (keine Überlappung). Die Studie beweist, dass für jeden Detektor gilt:

AUROC ≤ 1/2 + TV − TV²/2

Ist TV groß, ist die Schranke locker, und ein guter Detektor ist möglich. Werden Modelle besser und rückt ihre Ausgabeverteilung näher an menschliches Schreiben heran, schrumpft TV, und die bestmögliche AUROC rutscht in Richtung 0,5, also eines Münzwurfs.

Aus der Schranke der Studie berechnete Werte; keine experimentellen Ergebnisse.

• Verteilungen weit auseinander
• Verteilungen nah beieinander

Illustratives Beispiel zur Bedeutung der Schranke, keine Daten aus der Studie

Die Gegenargumente

Die Studie löste deutliche Reaktionen aus. Drei davon sollten Sie kennen.

Mehr Text macht Erkennung wieder möglich

Souradip Chakraborty und Kollegen argumentierten in einem Positionspapier auf der ICML 2024, „Position: On the Possibilities of AI-Generated Text Detection“, dass die Schranke für eine einzelne Stichprobe gilt. Sieht ein Detektor mehr Text, entweder längere Passagen oder mehrere Stichproben aus derselben Quelle, lassen sich die Verteilungen leichter unterscheiden, und Erkennung bleibt machbar, solange menschlicher und maschineller Text nicht über ihren gesamten Bereich identisch sind. Sie leiteten ab, wie viel Text dafür nötig ist. Kurz gesagt: Die Obergrenze gilt pro Stichprobe tatsächlich, steigt aber mit der Länge.

Wasserzeichen halten mehr aus als erwartet

Das Team hinter der ursprünglichen Green-List-Methode unter Leitung von John Kirchenbauer untersuchte dies in „On the Reliability of Watermarks for Large Language Models“ (ICLR 2024). Es stellte fest, dass Wasserzeichen sowohl nach menschlichem als auch nach maschinellem Paraphrasieren erkennbar blieben, weil Paraphrasen meist Fragmente des Originals beibehalten. In einem Szenario mit starker menschlicher Umformulierung war das Wasserzeichen im Schnitt nach etwa 800 Tokens bei sehr niedriger Falsch-Positiv-Rate erkennbar.

Retrieval als Verteidigung

Kalpesh Krishna und Kollegen, die DIPPER entwickelt hatten, schlugen in ihrer Studie auf der NeurIPS 2023 vor, dass ein Modellanbieter seine eigenen Ausgaben speichern und durchsuchen könnte. Mit 15 Millionen gespeicherten Generierungen erkannten sie 80 % bis 97 % der paraphrasierten Ausgaben bei einer Falsch-Positiv-Rate von 1 %. Sadasivan et al. entgegneten, dass rekursives Paraphrasieren auch Retrieval schwächt. DIPPER behandeln wir in wie DIPPER-Paraphrasierung KI-Detektoren umgeht.

Was das in der Praxis bedeutet

Die Debatte pendelt sich bei einer vernünftigen Mittelposition ein. Erkennung funktioniert bei langen Texten besser als bei kurzen, besser, wenn der Detektor weiß, welches Modell zu erwarten ist, und schwächer, je besser Modelle und Umschreibwerkzeuge werden. Keines der Gegenargumente behauptet, dass sich ein einzelner Absatz mit Sicherheit beurteilen lässt. Wie sich das bei einem kommerziellen Detektor auswirkt, lesen Sie in Kann Turnitin humanisierten Text erkennen?

• Kurze Passagen bergen die größte Unsicherheit. Ein Abstract oder ein einzelner Absatz ist genau der Fall, in dem die Schranke pro Stichprobe greift. Benchmarks wie RAID zeigen, wie stark die Leistung je nach Szenario schwankt.
• Fehler gibt es in beide Richtungen. Detektoren übersehen umgeschriebenen Maschinentext und können auch menschlichen Text markieren, wie die Arbeiten zur Benachteiligung von Nicht-Muttersprachlern zeigen.
• Ein Wert ist eine Wahrscheinlichkeit, kein Urteil. Institutionen, die ihn als Beweis behandeln, verlassen sich auf mehr Gewissheit, als die Forschung hergibt.

Wo Academic Humanizer ins Bild passt

Wenn Erkennung auf Absatzebene unsicher ist, ist es für ehrliche Autorinnen und Autoren sinnvoll, sich die Sätze anzusehen, die einen Wert bestimmen, statt zu raten. Academic Humanizer durchsucht einen Entwurf nach Sätzen, die Detektoren markieren, schreibt nur diese um, erhält dabei Bedeutung, Zahlen und Quellenangaben und lässt als menschlich eingestufte Sätze unverändert. Sein AI Detection Report vergleicht Vorher- und Nachher-Fassung nach demselben Maßstab und sagt klar, ob noch etwas markiert ist. Sie prüfen und bestätigen jede Änderung, und die KI-Richtlinien Ihrer Hochschule oder Zeitschrift zu prüfen, bleibt Teil der Aufgabe.