DetectGPT erklärt: KI-Text über Wahrscheinlichkeitskrümmung erkennen

DetectGPT ist eine Zero-Shot-Methode zur Erkennung KI-generierter Texte, die eine einfache Frage stellt: Wenn man eine Passage durch kleine Umformulierungen leicht verändert, gefällt sie einem Sprachmodell dann weniger? Maschinell geschriebener Text liegt meist auf einem lokalen Gipfel der Modellwahrscheinlichkeit, sodass fast jede Änderung seinen Wert senkt. Menschlicher Text zeigt diesen scharfen Gipfel in der Regel nicht.

Die Idee stammt aus einer Studie von Eric Mitchell und Kollegen aus dem Jahr 2023, vorgestellt auf der ICML 2023. Sie prägte einen Großteil der nachfolgenden Erkennungsforschung, einschließlich der schnelleren Methoden, auf die viele Tools heute setzen. Diese Erklärung geht die Methode in einfachen Worten durch, ebenso die berichteten Ergebnisse und was sie bedeuten, wenn Ihr eigener Text von einem Detektor geprüft wird.

Das Problem, das DetectGPT lösen wollte

Vor DetectGPT gab es zwei große Familien von Detektoren. Trainierte Klassifikatoren lernen aus gekennzeichneten Beispielen menschlicher und maschineller Texte, was bei Daten ähnlich dem Trainingsmaterial gut funktioniert und bei allem Neuen weniger gut. Zero-Shot-Statistiken wie die durchschnittliche Log-Wahrscheinlichkeit oder der Token-Rang brauchen kein Training, sind aber grob: Eine Passage kann schlicht deshalb hochwahrscheinlich sein, weil ihr Thema verbreitet oder ihr Stil formal ist.

Mitchell und Kollegen wollten etwas dazwischen. Ihr Detektor sollte nur die Log-Wahrscheinlichkeiten des Modells nutzen, das den Text mutmaßlich geschrieben hat, plus ein allgemeines Werkzeug für kleine Änderungen. Kein gekennzeichneter Datensatz, kein Klassifikatortraining und kein bei der Generierung eingebettetes Wasserzeichen. Wenn Sie zuerst den größeren Zusammenhang möchten: Unser Überblick, wie KI-Detektoren funktionieren, behandelt die wichtigsten Detektorfamilien.

So funktioniert DetectGPT: Wahrscheinlichkeitskrümmung einfach erklärt

Ein Sprachmodell weist jeder Passage eine Wahrscheinlichkeit zu. Stellen Sie sich alle möglichen Passagen als Landschaft aus Hügeln und Tälern vor, in der die Höhe angibt, für wie wahrscheinlich das Modell eine Passage hält. Wenn ein Modell Text erzeugt, wählt es bei jedem Schritt eher wahrscheinliche Wörter, daher landen seine Ausgaben nahe den Hügelkuppen.

Nehmen Sie nun eine Passage und nehmen Sie einige kleine, bedeutungserhaltende Änderungen vor. Lag die Passage auf einer Kuppe, führt jeder Schritt bergab, und die bearbeiteten Fassungen erhalten niedrigere Werte. Lag sie an einem sanften Hang oder in der Ebene, wie es bei menschlichem Schreiben oft der Fall ist, gehen manche Änderungen bergauf, manche bergab, und die durchschnittliche Änderung liegt nahe null. Die Studie nennt diese Form negative Krümmung: Die Kuppe eines Hügels fällt nach allen Seiten ab.

• Vom Modell erzeugte Passage
• Von Menschen geschriebene Passage

Illustratives Beispiel der Idee, keine Daten aus der Studie

In der Praxis läuft die Methode in vier Schritten ab.

1. Original bewertenBerechnen Sie die Log-Wahrscheinlichkeit der Passage unter dem Modell, das sie mutmaßlich geschrieben hat.
2. StörenMaskieren Sie kurze Wortfolgen und lassen Sie ein separates Modell, T5, sie mit plausiblen Alternativen füllen.
3. Kopien bewertenBerechnen Sie die Log-Wahrscheinlichkeit jeder gestörten Kopie unter demselben verdächtigen Modell.
4. VergleichenLiegt der Wert des Originals deutlich über dem Durchschnitt der Kopien, wird die Passage als wahrscheinlich maschinell erzeugt markiert.

Das Störungsmodell spielt eine Rolle. Die Autoren nutzten T5, ein Modell zum Füllen maskierter Stellen, um kurze Wortfolgen zu ersetzen, sodass die Kopien flüssig und bedeutungsnah bleiben. In ihrem Hauptaufbau maskierten sie etwa 15 % der Wörter in Abschnitten von zwei Wörtern und zogen 100 gestörte Stichproben pro Passage. Der endgültige Wert ist der Abstand zwischen Original und gestörtem Durchschnitt, normiert darauf, wie stark die Werte der gestörten Kopien schwanken.

Was die DetectGPT-Studie berichtete

Das Hauptergebnis stammt aus der Erkennung von Falschnachrichten. Bei Nachrichtenartikeln, die das GPT-NeoX-Modell mit 20 Milliarden Parametern erzeugt hatte, erreichte DetectGPT eine AUROC von 0,95, gegenüber 0,81 für die stärkste Zero-Shot-Vergleichsmethode. Die AUROC misst, wie gut ein Wert zwei Gruppen über alle möglichen Schwellenwerte hinweg trennt: 0,5 entspricht einem Münzwurf, 1,0 einer perfekten Trennung.

Die Autoren testeten Modelle von 1,5 Milliarden Parametern (GPT-2) bis zu Modellen mit 175 Milliarden Parametern wie GPT-3, mit Nachrichten (XSum), Wikipedia-Absätzen (SQuAD-Kontexte) und Schreibaufgaben für kreatives Schreiben von Reddit. Außerdem führten sie einen einfachen Test menschenähnlicher Überarbeitung durch: wachsende Teile des Maschinentextes wurden durch T5-Umformulierungen ersetzt. Die Erkennung blieb über 0,8 AUROC, selbst als fast ein Viertel des Textes ersetzt war.

Warum DetectGPT für Menschen zählt, deren Texte geprüft werden

Die meisten kommerziellen Detektoren legen ihr Innenleben nicht offen, und viele sind trainierte Klassifikatoren statt Tests im Stil von DetectGPT. Dennoch benennt die Studie das Signal, auf dem viel Erkennung beruht: Text, der für ein Modell zu vorhersagbar ist. Das hat für Forschende einige praktische Folgen.

• Formale Prosa ist von Natur aus vorhersagbar. Methodenteile, übliche Einschränkungen und Fachformeln wiederholen sich in Tausenden von Artikeln. Ein Modell hält sie für wahrscheinlich, was sorgfältiges menschliches Schreiben näher an die maschinelle Seite rückt. Mehr dazu in warum formale Prosa KI-geschrieben wirken kann.
• Der Wert betrifft die Passage, nicht den Autor. DetectGPT misst eine Eigenschaft eines Textes unter einem Modell. Ihre Entwürfe, Notizen oder Absichten sieht es nicht.
• Kurzer Text ist schwieriger. Weniger Tokens bedeuten eine verrauschtere Schätzung der Krümmung. Ein einzelnes Abstract gibt dem Test weniger Material als ein ganzes Kapitel.

Der Detektor reagiert außerdem auf das konkrete Modell, mit dem der Text bewertet wird. Text, der für ein Modell auf einem Gipfel liegt, tut das für ein anderes vielleicht nicht, und das ist ein Grund, warum verschiedene Tools beim selben Absatz uneins sind.

Grenzen von DetectGPT

Die Studie benennt ihre Einschränkungen offen, und spätere Arbeiten deckten weitere auf.

Sie braucht das richtige Modell und viel Rechenleistung

DetectGPT funktioniert am besten, wenn es die Log-Wahrscheinlichkeiten des Modells abfragen kann, das den Text geschrieben hat. Bei geschlossenen kommerziellen Modellen ist dieser Zugriff begrenzt, und ein anderes Bewertungsmodell schwächt das Signal. Das zweite Problem sind die Kosten: Jede Passage braucht hundert zusätzliche Vorwärtsdurchläufe. Die Folgestudie zu Fast-DetectGPT maß für DetectGPT auf ihrem Benchmark 79.113 Sekunden gegenüber 233 Sekunden für die eigene Methode auf derselben A100-GPU, ein Unterschied von etwa dem 340-Fachen.

Paraphrasieren zerstört das Krümmungssignal

Die Methode setzt voraus, dass die Passage noch dort liegt, wo das Modell sie abgelegt hat. Eine Paraphrase verschiebt sie. Krishna und Kollegen testeten das direkt in ihrer Studie auf der NeurIPS 2023 zum Paraphrasierer DIPPER: Das Umschreiben von Maschinentext senkte die Erkennungsrate von DetectGPT bei einer festen Falsch-Positiv-Rate von 1 % von 70,3 % auf 4,6 %. Sadasivan und Kollegen berichteten später, dass Paraphrasieren die AUROC dieser Art von Zero-Shot-Detektor von 96,5 % auf 25,2 % senkte. Dieselbe Schwäche ist der Grund, warum Prompt-Tricks immer wieder auftauchen; lesen Sie dazu, warum einfache Prompts ChatGPT-Text selten unerkennbar machen.

• Ursprünglicher Maschinentext70,3 %
• Nach DIPPER-Paraphrase4,6 %

Quelle: Krishna et al., „Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense“, NeurIPS 2023

Das Störungsmodell prägt das Ergebnis

Die Autoren merken an, dass ihr Ansatz eine brauchbare Störungsfunktion benötigt. T5 funktioniert für Englisch, doch in Bereichen, in denen ein handelsübliches Füllmodell keine realistischen Umformulierungen liefert, kann die Leistung sinken. Spezialisierte Wissenschaftssprache ist ein naheliegender Fall.

Was nach DetectGPT kam

DetectGPT begründete eine Reihe von Zero-Shot-Detektoren, die die Grundidee beibehalten und die Kosten senken. Fast-DetectGPT ersetzt Umformulierungen ganzer Passagen durch Stichproben auf Token-Ebene, und Binoculars vergleicht zwei verwandte Modelle, um Themen auszugleichen, die schon an sich überraschend sind. Beide behandeln wir in Fast-DetectGPT und Binoculars erklärt. Auf der anderen Seite zeigt die Forschung zu Paraphrasierungsangriffen, zusammengefasst in Lässt sich KI-generierter Text zuverlässig erkennen?, wie sehr diese Signale davon abhängen, dass Text nah an dem bleibt, was ein Modell erzeugen würde.

Wo Academic Humanizer ins Bild passt

Detektoren, die auf Vorhersagbarkeit beruhen, reagieren meist auf einzelne Sätze, die zu glatt oder zu generisch wirken, selbst in Entwürfen, deren Ideen und Daten ganz vom Autor stammen. Academic Humanizer arbeitet genau auf dieser Ebene: Er durchsucht einen Entwurf nach Sätzen, die Detektoren markieren, schreibt nur diese um, erhält dabei Aussagen, Zahlen, Quellenangaben und Terminologie und lässt den Rest exakt so, wie er geschrieben wurde. Der integrierte AI Detection Report zeigt jeden markierten Satz neben seiner Umformulierung, damit Sie jede Änderung vor der Verwendung prüfen können, und es lohnt sich, dabei auch die KI-Richtlinien Ihrer Hochschule oder Zeitschrift zu bestätigen.