Fast-DetectGPT und Binoculars erklärt: günstigere KI-Texterkennung

Fast-DetectGPT und Binoculars sind zwei Zero-Shot-Detektoren für KI-Text, die die Idee von DetectGPT so günstig gemacht haben, dass sie sich in großem Maßstab einsetzen lässt. Beide entscheiden, ob eine Passage maschinell geschrieben ist, indem sie fragen, wie vorhersagbar ihre Wörter für ein Sprachmodell sind, und beide schaffen das in einem einzigen Durchlauf statt mit den hundert Umformulierungen, die DetectGPT brauchte. Fast-DetectGPT erschien auf der ICLR 2024, Binoculars auf der ICML 2024.

Dieser Beitrag erklärt beide Methoden für Lesende außerhalb der Sprachverarbeitung, stellt die berichteten Zahlen dar und widmet sich dann der Frage, die für Forschende am wichtigsten ist: Was machen diese Detektoren mit sorgfältiger, formaler menschlicher Prosa?

Woher sie kommen: das Kostenproblem von DetectGPT

DetectGPT zeigte, dass Maschinentext meist auf einem lokalen Gipfel der Modellwahrscheinlichkeit liegt. Um das zu messen, schrieb es jede Passage etwa hundertmal mit einem separaten Modell um und bewertete jede Kopie neu. Das funktionierte, war aber langsam. Die Autoren von Fast-DetectGPT maßen dafür auf ihrem Benchmark 79.113 Sekunden auf einer A100-GPU. Ihre eigene Methode brauchte 233 Sekunden.

So funktioniert Fast-DetectGPT: bedingte Wahrscheinlichkeitskrümmung

Der entscheidende Schritt ist, Wort für Wort vorzugehen. An jeder Position der Passage hat ein Sprachmodell eine Verteilung über mögliche nächste Wörter, gegeben die vorangehenden Wörter. Fast-DetectGPT fragt: War das tatsächlich verwendete Wort an dieser Stelle eine Lieblingswahl des Modells, verglichen mit dem, was das Modell dort typischerweise wählen würde?

1. Kontext festhaltenDie echte Passage bleibt bestehen, sodass jede Position ihre tatsächlichen vorangehenden Wörter hat.
2. Alternativen ziehenAn jeder Position werden alternative Tokens aus einem Stichprobenmodell gezogen, unabhängig von den anderen Positionen.
3. Beides bewertenEin Bewertungsmodell liefert die Log-Wahrscheinlichkeit der echten und der gezogenen Tokens.
4. NormierenDen Durchschnittswert der Stichproben abziehen und durch ihre Streuung teilen. Ein hohes Ergebnis bedeutet, dass der Text ungewöhnlich oft die Lieblingswörter des Modells wählt.

Die Autoren nennen dies bedingte Wahrscheinlichkeitskrümmung. Weil die Stichproben pro Token bei festgehaltenem echtem Kontext gezogen werden, braucht die gesamte Berechnung nur ein oder zwei Vorwärtsdurchläufe statt hundert. Im Black-Box-Szenario, in dem das Quellmodell unbekannt ist, nutzten sie GPT-J als Stichprobenmodell und GPT-Neo-2.7B als Bewertungsmodell.

Was Fast-DetectGPT berichtete

Gemittelt über fünf Quellmodelle im White-Box-Szenario erreichte Fast-DetectGPT eine AUROC von 0,9887 gegenüber 0,9554 für DetectGPT. Bei Text von ChatGPT und GPT-4 im Black-Box-Szenario erreichte es 0,9338 gegenüber 0,7225. Die AUROC reicht von 0,5, einem Münzwurf, bis 1,0, einer perfekten Trennung.

• DetectGPT, White-Box0,9554
• Fast-DetectGPT, White-Box0,9887
• DetectGPT, Black-Box (ChatGPT, GPT-4)0,7225
• Fast-DetectGPT, Black-Box (ChatGPT, GPT-4)0,9338

Quelle: Bao et al., Fast-DetectGPT, ICLR 2024, Tabelle 1

So funktioniert Binoculars: Perplexität geteilt durch Kreuzperplexität

Binoculars von Abhimanyu Hans und Kollegen nimmt sich eine andere Schwäche vor. Die einfache Perplexität, ein Maß dafür, wie überrascht ein Modell von einem Text ist, vermischt zwei Dinge: ob der Text maschinell geschrieben wurde und ob das Thema ungewöhnlich ist. Die Autoren geben ein einprägsames Beispiel, das sie das Capybara-Problem nennen. Bittet man einen Chatbot, über ein Wasserschwein zu schreiben, das Astrophysiker ist, wird das Ergebnis ein Modell überraschen, obwohl eine Maschine es geschrieben hat, weil schon das Thema seltsam ist.

Binoculars gleicht das mit zwei eng verwandten Modellen aus, einem Beobachter und einem Ausführenden (in der Studie Falcon-7B-Instruct und Falcon-7B). Es berechnet zwei Größen:

• Log-Perplexität: wie überrascht das Beobachtermodell vom tatsächlichen Text ist.
• Log-Kreuzperplexität: wie überrascht der Beobachter im Durchschnitt von dem ist, was das ausführende Modell an jeder Position vorhergesagt hätte. Das ist eine Basislinie dafür, wie überraschend Maschinentext zu diesem Thema wäre.

Der Binoculars-Wert ist die erste Größe geteilt durch die zweite. Ein seltsamer Prompt erhöht beide Zahlen, daher bleibt das Verhältnis bei Maschinentext niedrig. Menschliches Schreiben ist meist überraschender als die maschinelle Basislinie, daher ist sein Verhältnis höher.

• Maschinell geschriebener Text
• Von Menschen geschriebener Text

Illustratives Beispiel der Idee, keine Daten aus einer der beiden Studien

Was Binoculars berichtete

Über eine Reihe von Dokumenttypen hinweg erkannte Binoculars über 90 % der von ChatGPT erzeugten Texte bei einer Falsch-Positiv-Rate von 0,01 %, also einem menschlichen Text unter zehntausend. Während der Entwicklung hatte es nie ChatGPT-Daten gesehen. Die Autoren testeten außerdem Essays von Nicht-Muttersprachlern aus einem Online-Essayforum, in Original- und grammatisch korrigierter Fassung, und berichteten für beide dieselbe Genauigkeit von 99,67 %. Ob kommerzielle Tools ebenso über verschiedene Chatbots hinweg verallgemeinern, ist eine andere Frage, die wir in Erkennt Turnitin ChatGPT, Claude und Gemini? behandeln.

Grenzen und Fehlalarme bei formalen Texten

Beide Studien berichten auf ihren Benchmarks starke Zahlen. Einige Vorbehalte zählen, wenn diese Ideen in Tools landen, die über echte Manuskripte urteilen.

Vorhersagbares menschliches Schreiben bleibt vorhersagbar

Beide Detektoren belohnen Überraschung. Wissenschaftliches Schreiben vermeidet sie oft bewusst: Standardbeschreibungen von Methoden, feste Wendungen, vorsichtige Einschränkungen und Fachterminologie machen Text leichter vorhersagbar. Die Autoren von Fast-DetectGPT warnen selbst, dass Detektoren dieser Art bei Texten von Nicht-Muttersprachlern höhere Falsch-Positiv-Raten zeigen könnten. Binoculars schnitt in seinem Test mit ESL-Essays gut ab, was ermutigend ist, doch ein Datensatz mit Studierendenaufsätzen ist nicht dasselbe wie ein Methodenteil in der klinischen Forschung. Unser Beitrag zur Benachteiligung von Nicht-Muttersprachlern durch Detektoren behandelt die Studie, die diese Sorge aufgebracht hat.

Auswendig gelernter Text sieht aus wie Maschinentext

Das Binoculars-Team testete 11 berühmte Texte. Drei landeten auf der maschinellen Seite ihres Schwellenwerts, weil Passagen, die ein Modell auswendig kennt, für es hochgradig vorhersagbar sind. Die Autoren merken an, dass dies zur Funktionsweise des Detektors passt und für manche Einsätze akzeptabel, für andere aber ein Problem sein könne. Zitierte Definitionen und Standardpassagen in wissenschaftlichen Texten werfen eine ähnliche Frage auf.

Paraphrasieren und abweichende Modelle

Keine der beiden Studien beansprucht Widerstandsfähigkeit gegen gezieltes Umschreiben, und die Autoren von Binoculars weisen darauf hin, dass sie adversariale Angriffe nicht untersucht haben. Fast-DetectGPT wird außerdem schwächer, wenn sich Bewertungs- und Quellmodell unterscheiden und wenn Passagen kurz sind. Da jede Zero-Shot-Methode dieser Art Token-Wahrscheinlichkeiten ausliest, ist eine substanziell umgeschriebene Passage ein anderes Bewertungsobjekt. Die Forschung zu Paraphrasierungsangriffen, behandelt in Lässt sich KI-generierter Text zuverlässig erkennen?, zeigt, wie weit sich Werte verschieben können.

Was das für die Arbeit mit Academic Humanizer bedeutet

Weil Detektoren wie diese darauf reagieren, wie vorhersagbar jeder Textabschnitt ist, kann ein überwiegend menschlicher Entwurf dennoch einige Sätze enthalten, die maschinell wirken. Genau auf diese zielt Academic Humanizer: Er findet die Sätze, die Detektoren markieren, schreibt nur diese um, erhält dabei Ihr Argument, Ihre Daten, Quellenangaben und Begriffe und lässt jeden anderen Satz unangetastet. Der AI Detection Report vergleicht anschließend Original und überarbeitete Fassung nach demselben Maßstab, damit Sie jede Änderung prüfen können, und vor der Einreichung sollten Sie dennoch die KI-Richtlinien Ihrer Hochschule oder Zeitschrift prüfen.