Wie zuverlässig sind KI-Detektoren? Was der RAID-Benchmark zeigt

Wie zuverlässig sind KI-Detektoren? Viele werben mit einer Genauigkeit von 99 % oder mehr. Der RAID-Benchmark, vorgestellt auf der ACL 2024, wurde gebaut, um solche Behauptungen an einem gemeinsamen, schwierigen Datensatz zu prüfen. Seine Antwort: Detektoren können sehr hohe Genauigkeit erreichen, aber nur unter engen Bedingungen, oft nur, wenn viele Falsch-positive zugelassen werden, und einfache Änderungen daran, wie Text erzeugt oder leicht verändert wird, können sie an den Rand des Versagens bringen.

Hier lesen Sie, was RAID enthält, wie es Detektoren misst und warum seine Zahlen selten zu den Angaben auf den Produktseiten der Anbieter passen.

Was in RAID steckt

RAID ist absichtlich groß. Frühere Erkennungsdatensätze nutzten meist ein oder zwei Generatoren, eine Decoding-Einstellung und keine Angriffe, was Detektoren schmeichelt. RAID variiert all das gleichzeitig.

Zehn Prozent der Daten werden ohne Labels als verborgener Testsatz zurückgehalten, und die Autoren betreiben eine öffentliche Rangliste, damit neue Detektoren auf derselben Grundlage verglichen werden können. Ein separater Satz, RAID-extra, ergänzt 2,3 Millionen Generierungen aus Python-Code, tschechischen und deutschen Nachrichten.

Paper-Abstracts sind eine der acht Domänen. Das macht RAID für wissenschaftlich Schreibende relevanter als Benchmarks, die nur auf Nachrichten oder Webtexten beruhen.

Warum die Falsch-positiv-Rate alles verändert

Ein Detektor gibt einen Wert aus. Um daraus „KI“ oder „Mensch“ zu machen, legt jemand einen Schwellenwert fest. Die RAID-Autoren zeigen, dass diese Wahl wichtiger ist, als das meiste Marketing zugibt.

Zuerst prüften sie, was bei einem naiven Schwellenwert wie 0,5 passiert. Mehrere Open-Source-Detektoren, vor allem die metrikbasierten, erzeugten das, was die Autoren gefährlich hohe Falsch-positiv-Raten nennen. Die kommerziellen Detektoren waren besser kalibriert, keiner lag bei den getesteten üblichen Schwellenwerten über 1,7 % Falsch-positiv-Rate.

Dann trugen sie die Genauigkeit gegen die Falsch-positiv-Rate auf. Detektoren konnten die sehr hohen Genauigkeiten aus viralen Berichten erreichen, aber nur, wenn man ihnen eine ähnlich hohe Falsch-positiv-Rate zugestand. Je niedriger die tolerierte Rate, desto steiler fielen die meisten ab, und nur wenige konnten unter 1 % arbeiten. Einige erreichten die niedrigste getestete Rate nie und blieben bei 16,9 % (ZeroGPT), 0,88 % (Fast-DetectGPT) und 0,62 % (Originality) stehen. Binoculars war die klare Ausnahme und hielt sich bei niedrigen Falsch-positiv-Raten gut.

• Erkennungsrate bei KI-Text
• Falsch-positiv-Rate bei menschlichem Text

Beispiel zur Veranschaulichung des Zielkonflikts, den RAID misst, keine Daten aus der Studie.

Für den Rest der Studie wird jeder Detektor auf eine Falsch-positiv-Rate von 5 % bei den menschlichen Texten von RAID kalibriert, und die Genauigkeit wird an diesem Punkt berichtet. Nur so lassen sich Tools fair vergleichen, und deshalb wirken RAID-Zahlen niedriger als die Angaben der Anbieter, die oft gar keine Falsch-positiv-Rate nennen.

Sampling, Wiederholungsstrafen und unbekannte Modelle

Einige der auffälligsten Ergebnisse von RAID kommen ganz ohne Angriff aus, nur mit gewöhnlichen Generierungseinstellungen.

Wiederholungsstrafe. Eine Wiederholungsstrafe, die ein Modell davon abhält, dieselben Tokens erneut zu verwenden, senkte die Genauigkeit über Detektoren, Generatoren und Domänen hinweg um bis zu 32 Punkte. Die Autoren merken an, dass keine frühere Studie zur Robustheit von Detektoren darüber berichtet hatte, obwohl solche Strafen Ausgaben menschlicher klingen lassen.

Decoding-Strategie. Jede Detektorkategorie schnitt bei Greedy-Decoding deutlich besser ab als bei zufälligem Sampling.

Unbekannte Generatoren. Der auf GPT-2-Ausgaben trainierte RoBERTa-Detektor erreichte bei GPT-2-Text in fünf Domänen über 95 %, bei Text anderer Modelle in denselben Domänen aber selten mehr als 60 %. Detektoren funktionieren am besten bei den Modellen und Domänen, auf die sie trainiert wurden, und die Autoren beobachteten ähnliche Muster bei kommerziellen Tools.

Die Studie fasst es nüchtern zusammen: Ein anderer Generator, eine andere Decoding-Strategie oder eine zusätzliche Wiederholungsstrafe genügten, um bei sonst hervorragend wirkenden Detektoren Fehlerraten von 95 % oder mehr zu verursachen.

Wie adversariale Angriffe verschiedene Detektoren treffen

Die Angriffe in RAID sind bewusst einfache Black-Box-Änderungen. Ihre Wirkung unterschied sich stark je nach Detektor, und das ist einer der nützlicheren Befunde der Studie.

• Originality, ohne Angriff85,0 %
• Originality, Homoglyphen-Angriff9,3 %
• Binoculars, ohne Angriff79,6 %
• Binoculars, Synonymtausch43,5 %
• GPTZero, ohne Angriff66,5 %
• GPTZero, Homoglyphen-Angriff66,2 %

Quelle: Dugan et al. 2024, Tabelle 6.

• Der Austausch eines kleinen Teils der Wörter durch Synonyme senkte Binoculars und andere metrikbasierte Verfahren um bis zu 36,1 Punkte.
• Homoglyphen, also Zeichen, die identisch aussehen, aber andere Codepunkte haben, schadeten fast jedem Detektor. GPTZero verlor nur 0,3 Punkte; fünf andere fielen im Schnitt um 40,6.
• Adversarial trainierte Detektoren wie RADAR hielten sich deutlich besser.
• Manche Angriffe halfen sogar. Der GPT-2-RoBERTa-Detektor verbesserte sich nach T5-Paraphrasierung um 16,2 Punkte, vermutlich weil der Paraphrasierer den Text näher an die Trainingsdaten des Detektors rückte.

Hinter all dem steckt dasselbe Muster wie in kleineren Studien, etwa im Test von 14 Tools durch Weber-Wulff und Kolleginnen: Detektoren lesen Oberflächenstatistiken, und verschiedene Detektoren lesen verschiedene. Eine Änderung, die die Bedeutung unberührt lässt, kann einen Text trotzdem über die Linie eines Detektors schieben.

Warum Benchmark-Zahlen von Anbieterangaben abweichen

Wenn eine Produktseite 99 % angibt, heißt das meist 99 % auf dem eigenen Testsatz des Anbieters, gezogen aus den Modellen, Domänen und Einstellungen, für die der Detektor trainiert wurde, bei einem Schwellenwert, den man Ihnen nicht nennt. RAID unterscheidet sich in jedem dieser Punkte:

• Es legt die Falsch-positiv-Rate fest und berichtet sie, sodass sich Genauigkeit nicht mit fälschlich markierten menschlichen Texten erkaufen lässt.
• Es enthält Modelle und Domänen, die ein Detektor womöglich nie gesehen hat.
• Es variiert Decoding-Einstellungen, die echte Nutzer und Tools routinemäßig ändern.
• Es wendet billige Änderungen an, die echte Texte ohnehin durchlaufen, etwa Tippfehler, Formatierungsänderungen und Umformulierungen.

Keine der beiden Zahlen ist gefälscht. Sie beantworten unterschiedliche Fragen. Eine Anbieterzahl sagt Ihnen, wie ein Tool unter den Bedingungen abschneidet, für die es gebaut wurde. RAID sagt Ihnen, wie es sich verhält, wenn sich die Bedingungen verschieben, und das kommt dem, was mit einem echten Manuskript passiert, näher. Diese Lücke erklärt auch vieles von dem, was wir in Warum KI-Detektoren sich widersprechen beim selben Absatz behandeln.

Die Autoren ziehen in ihrer Ethikerklärung eine klare Linie: Angesichts ungelöster Probleme mit Falsch-positiven lehnen sie den Einsatz von Detektoren in disziplinarischen oder strafenden Kontexten ab, bis bessere Bewertungsstandards breit übernommen sind.

Was das für wissenschaftlich Schreibende bedeutet

Wenn Sie mit KI-Hilfe schreiben, erinnert RAID daran, dass jeder einzelne Detektorwert von Einstellungen abhängt, die Sie nicht sehen. Behandeln Sie ein Ergebnis als eine Messung, prüfen Sie, was die Richtlinie Ihrer Hochschule oder Zeitschrift zu KI-Unterstützung sagt, und dokumentieren Sie Ihren Schreibprozess. Wird ein Wert gegen Sie verwendet, sind Benchmark-Belege wie diese eine faire Grundlage, um eine menschliche Prüfung zu verlangen; unser Beitrag Was tun, wenn Ihr Text fälschlich als KI markiert wird beschreibt die praktischen Schritte. Erkennt Turnitin ChatGPT, Claude und Gemini? untersucht dieselbe Frage für Turnitin, das RAID nicht getestet hat.

Wo Academic Humanizer ins Spiel kommt

Weil Detektoren sich widersprechen und schwanken, prüft Academic Humanizer seine Ergebnisse gegen mehrere statt gegen einen. Er wird gegen Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling und Originality.ai validiert. Humanizer schreibt nur die Sätze um, die Detektoren markieren, erhält Ihre Fachbegriffe, Zahlen und Zitate, und sein KI-Erkennungsbericht zeigt Entwurf und Ausgabe nebeneinander mit demselben Maßstab, einschließlich der Sätze, die noch markiert sind, damit Sie vor der Einreichung entscheiden können, was Sie überarbeiten.