Umgeht Paraphrasieren die KI-Erkennung? Die DIPPER-Studie erklärt

Umgeht Paraphrasieren die KI-Erkennung? In einem Test von 2023 meist ja: Forschende der UMass Amherst und von Google zeigten, dass ein einziger Durchlauf eines guten Paraphrasierungsmodells KI-generierten Text an den meisten Detektoren vorbeibringen kann, während seine Bedeutung nahezu unverändert bleibt. Ihre Studie, vorgestellt auf der NeurIPS 2023, senkte die Erkennungsrate von DetectGPT bei einer festen Falsch-Positiv-Rate von 1 % von 70,3 % auf 4,6 %. Sie schlug außerdem eine Abwehr vor, die überhaupt nicht auf den Stil des Textes angewiesen ist.

Die Studie ist der Ausgangspunkt der meisten späteren Arbeiten zu AI Humanizern und zur Widerstandsfähigkeit von Detektoren. Hier lesen Sie, was sie tat, was sie fand und was das für Menschen bedeutet, die mit KI-Unterstützung schreiben.

Was DIPPER ist

DIPPER (kurz für Discourse Paraphraser) ist ein Modell mit 11 Milliarden Parametern, feinabgestimmt auf Basis von T5-XXL. Die meisten Paraphrasierer jener Zeit arbeiteten Satz für Satz. DIPPER wurde darauf trainiert, ganze Absätze umzuschreiben, umgebenden Kontext wie den ursprünglichen Prompt zu nutzen und Inhalte satzübergreifend umzustellen.

Die Trainingsdaten stammten aus PAR3, einem Datensatz mit mehreren englischen Übersetzungen derselben nicht-englischen Romane. Zwei Übersetzer, die denselben Absatz übertragen, erzeugen natürliche Paraphrasen voneinander, mit anderer Wortwahl und Satzfolge, aber gleichem Inhalt. Das gab dem Modell realistische Beispiele dafür, wie Menschen eine Idee auf verschiedene Weise ausdrücken.

DIPPER hat zwei Regler, die beide bei der Anwendung eingestellt werden:

• Lexikalische Vielfalt (L): wie stark sich die Wortwahl ändert. Die Autoren merken an, dass L = 20 grob einer lexikalischen Veränderung von 20 % entspricht.
• Reihenfolgevielfalt (O): wie stark Inhalte innerhalb des Absatzes umgestellt werden.

In den Hauptexperimenten wurde L auf 20, 40 oder 60 und O auf 0 oder 60 gesetzt, und jeder Text wurde nur einmal paraphrasiert, nicht so lange wiederholt, bis er durchkam.

Wie der Test aufgebaut war

Die Autoren erzeugten Texte mit 300 Tokens mit drei sehr unterschiedlich großen Modellen: GPT-2 XL (1,5 Milliarden Parameter), OPT-13B und GPT-3.5 (text-davinci-003). Die Aufgaben waren freie Fortsetzung von Wikipedia-Passagen und ausführliche Beantwortung von Fragen.

Anschließend testeten sie fünf Detektoren: das Wasserzeichen von Kirchenbauer et al., DetectGPT, GPTZero, den AI Text Classifier von OpenAI und RankGen. Jeder Detektor wurde auf eine Falsch-Positiv-Rate von 1 % eingestellt, das heißt, nur 1 von 100 menschlichen Texten würde fälschlich markiert. Die Autoren argumentieren, dass Detektoren genau so beurteilt werden sollten, und fügen hinzu, dass selbst 1 % in der Praxis vermutlich zu hoch ist.

Um zu prüfen, ob die Paraphrasen ihre Bedeutung behielten, nutzten sie P-SP, ein Modell für semantische Ähnlichkeit, sowie eine Bewertung durch Menschen.

Was mit den Erkennungsraten geschah

• DetectGPT, Text von GPT-2 XL70,3 %
• DetectGPT, nach Paraphrase4,6 %
• Wasserzeichen, Text von GPT-2 XL100 %
• Wasserzeichen, nach Paraphrase57,2 %
• OpenAI-Klassifikator, Text von GPT-3.530,0 %
• OpenAI-Klassifikator, nach Paraphrase15,6 %

Quelle: Krishna et al. 2023, Abschnitt 4.3 (freie Wikipedia-Generierung).

Über Modelle, Detektoren und Aufgaben hinweg senkte das Paraphrasieren die Erkennung bei jeder Vielfaltseinstellung. Gleichzeitig lagen 88 % bis 99 % der Paraphrasen über dem Median der Ähnlichkeit menschlich geschriebener Paraphrasenpaare, die Bedeutung blieb also weitgehend erhalten.

Zwei weitere Befunde fallen auf:

• Wasserzeichen erwiesen sich als am widerstandsfähigsten. Sie erkannten weiterhin die Mehrheit der paraphrasierten GPT-2-XL-Texte, weil einige Wasserzeichen-Tokens die Umformulierung überstehen. Ihre Stärke kommt von einem Signal, das bei der Generierung eingebettet wird, also von einer anderen Art von Beleg als dem Stil. Wie dieses Signal funktioniert, lesen Sie in unserer Erklärung zu Wasserzeichen.
• Detektoren ohne Wasserzeichen waren bei den größeren Modellen schon vor dem Paraphrasieren schwach. GPTZero und RankGen erkannten in diesen Szenarien weniger als 15 % des nicht paraphrasierten KI-Textes, und DetectGPT fiel bei ausführlichen Antworten von 74,9 % bei GPT-2 XL auf 29,8 % bei OPT-13B. OpenAI zog seinen Klassifikator im Juli 2023 wegen geringer Genauigkeit zurück.

Warum bedeutungserhaltendes Umschreiben das Urteil ändert

Das Ergebnis wirkt überraschend, bis man sich erinnert, was diese Detektoren messen. Wie wir in wie KI-Detektoren funktionieren erklären, bewerten statistische Detektoren wie DetectGPT, wie wahrscheinlich jedes Token unter einem Sprachmodell ist. Ein Wasserzeichen-Detektor zählt Tokens aus einer geheimen „grünen Liste“. Keiner von beiden liest das Argument.

Eine Paraphrase behält das Argument bei, zieht die einzelnen Wortentscheidungen aber neu aus der Verteilung eines anderen Modells. Die Tokens, die den Originaltext maschinell oder mit Wasserzeichen versehen erscheinen ließen, werden durch andere Tokens mit derselben Bedeutung ersetzt. Der Detektor sieht einen neuen statistischen Fingerabdruck; ein Leser sieht denselben Absatz.

Das ist die Kernerkenntnis, die die Studie allen Nachfolgenden mitgibt: Stilbasierte Erkennung misst die Oberflächenform, und die Oberflächenform kann sich ändern, während die Bedeutung gleich bleibt. Dieselbe Idee erklärt, warum schon leichte menschliche Bearbeitung Detektoren in Tests an Hochschulen verwirrt und warum die etwa zur selben Zeit erschienene Studie von Sadasivan et al. argumentierte, Erkennung könne grundsätzlich begrenzt sein.

Die Retrieval-Abwehr

Die zweite Hälfte der Studie bietet eine Abwehr, die nicht vom Stil abhängt. Statt zu fragen „Sieht das maschinell geschrieben aus?“, fragt sie: „Hat unser Modell etwas mit dieser Bedeutung geschrieben?“

1. SpeichernDer Anbieter des Sprachmodells legt jede Ausgabe seiner API in einer Datenbank ab.
2. KodierenEin zu prüfender Text wird in eine Darstellung seines Inhalts umgewandelt.
3. SuchenDas System sucht mit BM25 oder dem semantischen Modell P-SP nach gespeicherten Generierungen mit passendem Inhalt.
4. EntscheidenGibt es eine ausreichend ähnliche Übereinstimmung, wird der Text als Ausgabe des Modells dieses Anbieters markiert.

Weil eine Paraphrase den Inhalt beibehält, passt sie weiterhin zum gespeicherten Original. Mit einer Datenbank von 15 Millionen Generierungen erkannte Retrieval über alle Szenarien 80 % bis 97 % der paraphrasierten Texte und markierte dabei nur 1 % der menschlichen Texte. Bei ausführlichen Antworten fand BM25-Retrieval 97,8 %, 97,3 % und 96,2 % der am stärksten paraphrasierten Texte der drei Modelle, gegenüber 55,8 %, 51,4 % und 38,1 % für den besten konkurrierenden Detektor.

Die Autoren sprechen die Grenzen offen an. Retrieval funktioniert nur, wenn der Anbieter es betreibt, es kann nur die eigenen Ausgaben dieses Anbieters erkennen, und mit wachsenden Datenbanken wirft es echte Fragen zu Speicherung, Datenschutz und Fehltreffern auf. Lokal betriebene Modelle mit offenen Gewichten fallen komplett heraus.

Die Forschungslinie der Humanizer

DIPPER legte die Vorlage fest, auf der spätere Arbeiten aufbauten: KI-Text mit einem separaten Modell umformen, die Erkennung bei einer festen, niedrigen Falsch-Positiv-Rate messen und prüfen, ob die Bedeutung erhalten blieb. SICO zeigte denselben Effekt allein durch Prompting. Der RAID-Benchmark machte die Paraphrase zu einem von elf Standardangriffen. Neuere Arbeiten steuern das Paraphrasieren mit dem Feedback eines Detektors selbst.

Für wissenschaftlich Schreibende ist die Lehre daraus kein Rezept. Sie ist eine Warnung davor, was ein Detektorurteil bedeuten kann. Eine Markierung oder ihr Fehlen spiegelt, wie die Oberflächenstatistik eines Textes zu den Erwartungen eines Modells passt. Über die Frage, wer die Ideen hatte, sagt sie nichts Verlässliches. Deshalb zählen Ihre Entwürfe und Notizen mehr als jeder Wert, und deshalb sollten Sie die Regeln Ihrer Hochschule oder Zeitschrift zur KI-Unterstützung prüfen und die Nutzung offenlegen, wo es verlangt wird. Auch kommerzielle Detektoren haben sich seitdem verändert; siehe Kann Turnitin humanisierten Text erkennen?

Wo Academic Humanizer ins Bild passt

Academic Humanizer wendet die Lehre aus dieser Forschung andersherum an: Da Detektoren auf Oberflächenmuster reagieren, ist das Ziel, so wenig wie möglich zu ändern und dabei zu erhalten, was zählt. Humanizer schreibt nur die Sätze um, die Detektoren markieren, lässt den Rest exakt so, wie er geschrieben wurde, und lässt Aussagen, Zahlen, Einschränkungen und Quellenangaben an ihrem Platz. Sein AI Detection Report stellt jeden markierten Satz seiner Umformulierung gegenüber, damit Sie die Bedeutung Zeile für Zeile prüfen können, bevor Sie das Ergebnis verwenden.