Forschung zur KI-Erkennung: Leseliste mit 11 zentralen Studien

Wer KI-Texterkennung verstehen will, statt einem Wert einfach zu vertrauen, kommt mit etwa einem Dutzend Studien weit. Sie erklären, wie Detektoren Text messen, wie robust sie sind, bei wem sie versagen und wie leicht oberflächliches Umschreiben ihre Urteile verschiebt. Diese Leseliste umfasst elf davon aus den Jahren 2019 bis 2024, dazu eine Studie, die sich an Lehrende richtet.

Jeder Eintrag nennt den vollständigen Titel, die Autorinnen und Autoren, den Publikationsort, einen geprüften Befund und einen Link zur Studie. Wo es bei uns eine ausführlichere Erklärung gibt, ist sie ebenfalls verlinkt.

1. 2019: frühe WerkzeugeGLTR und der GPT-2 Output Detector zeigen zwei Ansätze, die bis heute dominieren: Token-Statistik und trainierte Klassifikatoren.
2. 2023: Zero-Shot und WasserzeichenDetectGPT und LLM-Wasserzeichen schlagen Erkennung ohne trainierten Klassifikator vor.
3. 2023: erste BelastungstestsDIPPER zeigt das Umgehen per Paraphrase; Liang et al. zeigen die Benachteiligung von Nicht-Muttersprachlern.
4. 2024: günstigere Detektoren, größere BenchmarksFast-DetectGPT, Binoculars und Ghostbuster verbessern die Erkennung, RAID und M4 testen sie in großem Maßstab.

Grundlagen: Wie die Erkennung begann

1. GLTR: Statistical Detection and Visualization of Generated Text

Sebastian Gehrmann, Hendrik Strobelt, Alexander M. Rush · ACL 2019 (System Demonstrations)

GLTR färbt jedes Wort danach ein, wie hoch ein Sprachmodell es eingestuft hat. Maschinentext bleibt meist bei den am höchsten eingestuften Wörtern, während Menschen häufiger weniger erwartbare Wörter wählen. In einer Studie mit Versuchspersonen steigerte GLTR die Trefferquote beim Erkennen generierter Texte ohne vorheriges Training von 54 % auf 72 %. Die Grundidee, dass Vorhersagbarkeit ein Signal ist, steckt heute in den meisten Detektoren. Studie

2. Release Strategies and the Social Impacts of Language Models

Irene Solaiman et al. (OpenAI) · Bericht, 2019

Dieser Bericht über die gestaffelte Veröffentlichung von GPT-2 beschreibt den RoBERTa-basierten Klassifikator, der als „GPT-2 Output Detector“ weite Verbreitung fand. Die Autoren berichten, dass er Text des GPT-2-Modells mit 1,5 Milliarden Parametern mit einer Genauigkeit von etwa 95 % erkannte. Derselbe Detektor taucht in späteren Evaluationen wieder auf: In RAID erreichte er bei GPT-2-Text in fünf Domänen über 95 %, bei Text anderer Modelle aber selten mehr als 60 %. Studie

Zero-Shot-Erkennung und Wasserzeichen

3. DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature

Eric Mitchell, Yoonho Lee, Alexander Khazatsky, Christopher D. Manning, Chelsea Finn · ICML 2023

DetectGPT beobachtet, dass modellgeschriebener Text meist auf einem lokalen Gipfel der Log-Wahrscheinlichkeit des Modells liegt: Kleine Störungen machen ihn unwahrscheinlicher. Die Methode braucht keine Trainingsdaten, nur die Wahrscheinlichkeiten des Modells und ein Störungsmodell wie T5. Bei von GPT-NeoX erzeugten Falschnachrichten steigerte sie die AUROC von 0,81 für die beste frühere Zero-Shot-Methode auf 0,95. Lesen Sie unsere Erklärung zu DetectGPT. Studie

4. A Watermark for Large Language Models

John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein · ICML 2023

Statt aus dem Stil zu raten, setzt dieser Ansatz schon bei der Generierung ein Signal. Vor jedem Wort wird pseudozufällig eine „grüne Liste“ von Tokens gewählt und leicht bevorzugt; ein Detektor zählt später die grünen Tokens und führt einen statistischen Test mit interpretierbaren p-Werten durch, ohne das Modell selbst zu benötigen. Das funktioniert nur, wenn der Modellanbieter es aktiviert. Lesen Sie unsere Erklärung zu Wasserzeichen. Studie

Belastungstests: Umgehung und Verzerrung

5. Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense

Die DIPPER-Studie (Karte oben) ist der Ausgangspunkt der Humanizer-Forschung. Ein Paraphrasierer mit 11 Milliarden Parametern schwächte Wasserzeichen, DetectGPT, GPTZero und den Klassifikator von OpenAI, ohne die Bedeutung zu verändern. Die vorgeschlagene Gegenmaßnahme, gespeicherte Generierungen eines Anbieters nach passenden Inhalten zu durchsuchen, erkannte 80 % bis 97 % der Paraphrasen bei einer Falsch-Positiv-Rate von 1 %. Lesen Sie unsere Erklärung zu DIPPER.

6. GPT detectors are biased against non-native English writers

Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou · Patterns, 2023

Sieben verbreitete Detektoren wurden an 91 TOEFL-Essays von Nicht-Muttersprachlern und 88 Essays von US-Achtklässlern getestet. Bei den US-Essays lagen sie fast perfekt, markierten aber mehr als die Hälfte der TOEFL-Essays als KI, mit einer durchschnittlichen Falsch-Positiv-Rate von 61,22 %; 89 von 91 wurden von mindestens einem Detektor markiert. Mit angereichertem Wortschatz sank die Rate bei denselben Essays auf 11,77 %. Lesen Sie unsere Erklärung zur Verzerrung von Detektoren. Studie

2024: schnellere Detektoren und härtere Benchmarks

7. Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text via Conditional Probability Curvature

Guangsheng Bao, Yanbin Zhao, Zhiyang Teng, Linyi Yang, Yue Zhang · ICLR 2024

Fast-DetectGPT ersetzt den aufwendigen Störungsschritt von DetectGPT durch ein stichprobenbasiertes Maß der bedingten Wahrscheinlichkeitskrümmung. Die Autoren berichten von einer relativen Verbesserung um etwa 75 % gegenüber DetectGPT, sowohl im White-Box- als auch im Black-Box-Szenario, bei rund 340-mal schnellerer Erkennung. Studie

8. Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text

Abhimanyu Hans et al. · ICML 2024

Binoculars vergleicht, wie überraschend ein Text für ein Modell ist, mit der Frage, wie überraschend die Vorhersagen eines Modells für ein anderes sind. Ganz ohne Trainingsdaten erkennt es über 90 % der Texte von ChatGPT und anderen LLMs bei einer Falsch-Positiv-Rate von 0,01 %. In RAID stach es bei niedrigen Falsch-Positiv-Raten heraus. Lesen Sie unsere Erklärung zu Fast-DetectGPT und Binoculars. Studie

9. Ghostbuster: Detecting Text Ghostwritten by Large Language Models

Vivek Verma, Eve Fleisig, Nicholas Tomlin, Dan Klein · NAACL 2024

Ghostbuster schickt Dokumente durch mehrere schwächere Sprachmodelle, durchsucht Kombinationen ihrer Merkmale und trainiert auf dem Ergebnis einen Klassifikator, sodass kein Zugriff auf die Wahrscheinlichkeiten des Zielmodells nötig ist. Es erreichte domänenübergreifend 99,0 F1, 5,9 F1 mehr als das beste frühere Modell, und brachte neue Datensätze mit Studierendenaufsätzen, kreativen Texten und Nachrichten mit. Studie

10. M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection

Yuxia Wang et al. · EACL 2024

M4 umfasst sechs Generatoren (darunter GPT-4, ChatGPT, Cohere, Dolly-v2 und BLOOMz), Domänen von Wikipedia bis zu arXiv-Abstracts und Peer-Reviews sowie sieben Sprachen: Arabisch, Bulgarisch, Chinesisch, Englisch, Indonesisch, Russisch und Urdu. Der Hauptbefund: Detektoren lassen sich schlecht auf unbekannte Domänen und Modelle übertragen und halten Maschinentext in solchen Fällen eher für menschlich. M4 wurde zur Grundlage von SemEval-2024 Task 8. Studie

11. RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors

Liam Dugan et al. · ACL 2024

RAID testet 12 Detektoren an über 6 Millionen Generierungen von 11 Modellen, aus 8 Domänen, mit 4 Decodierstrategien und 11 adversarialen Angriffen, wobei jeder Detektor auf dieselbe Falsch-Positiv-Rate kalibriert ist. Detektoren, die in einem Szenario hervorragend aussehen, können in einem anderen versagen, und allein eine Wiederholungsstrafe senkte die Genauigkeit um bis zu 32 Punkte. Lesen Sie unsere Erklärung zu RAID. Studie

Noch eine Studie für Lehrende

Testing of detection tools for AI-generated text von Debora Weber-Wulff et al. (International Journal for Educational Integrity, 2023) testete 14 Werkzeuge an 54 kontrollierten Dokumenten. Keines erreichte 80 % Genauigkeit, und maschinelles Paraphrasieren senkte die durchschnittliche Genauigkeit auf 26 %. Lesen Sie unsere Zusammenfassung der Studie mit 14 Werkzeugen oder die Studie selbst. Zur Theorie, warum Erkennung schwierig bleiben könnte, lesen Sie unseren Beitrag zur Frage, ob KI-Text zuverlässig erkannt werden kann. Worauf Lehrende neben einem Wert achten, lesen Sie in Können Dozenten KI erkennen?

So lesen Sie diese Studien

• Prüfen Sie die Falsch-Positiv-Rate. Eine Genauigkeitsangabe ohne sie ist schwer zu deuten. DIPPER, Binoculars und RAID berichten die Erkennung genau deshalb bei einer festen, niedrigen Falsch-Positiv-Rate.
• Prüfen Sie, welche Modelle und Domänen getestet wurden. Ergebnisse zu GPT-2 oder Nachrichtentexten lassen sich nicht unbedingt auf ein aktuelles Modell übertragen, das einen Methodenteil schreibt.
• Achten Sie auf das Datum. Kommerzielle Werkzeuge werden häufig aktualisiert, ein Wert von 2023 für ein bestimmtes Produkt ist also eine Momentaufnahme.
• Schauen Sie, wer fälschlich markiert wird. Liang et al. und Weber-Wulff et al. zeigen beide, dass Fehler vor allem Texte von Nicht-Muttersprachlern und übersetzte Texte treffen.

Wo Academic Humanizer ins Bild passt

Zusammen gelesen zeigen diese Studien, dass Detektoren auf Oberflächenstatistiken reagieren, die auch sorgfältiges menschliches Schreiben aufweisen kann. Academic Humanizer ist für Forschende gebaut, deren eigene Ideen aus genau diesem Grund falsch etikettiert werden. Humanizer schreibt nur die Sätze um, die Detektoren markieren, erhält Ihr Argument, Ihre Zahlen und Quellenangaben, und der AI Detection Report vergleicht Entwurf und Ausgabe nach demselben Maßstab, damit Sie jede Änderung prüfen können. Wie immer gilt: Lesen Sie vor der Einreichung die KI-Richtlinien Ihrer Hochschule oder Zeitschrift.