Wie genau sind KI-Detektoren? Was eine Studie mit 14 Tools fand

Wie genau sind KI-Detektoren? Nicht sehr, so einer der bislang am sorgfältigsten dokumentierten öffentlichen Tests. 2023 schrieben acht Forschende zur akademischen Integrität Originaltexte, generierten andere mit ChatGPT, bearbeiteten und paraphrasierten einige davon und reichten alle 54 Dokumente bei 14 Detektoren ein. Keiner erreichte 80 % Genauigkeit. Das im International Journal for Educational Integrity veröffentlichte Fazit war unverblümt: Die Tools seien „neither accurate nor reliable“ (weder genau noch zuverlässig).

Dieser Beitrag erklärt, wie die Studie aufgebaut war, was die Zahlen tatsächlich zeigen und warum ihre nützlichste Lehre für Forschende enger und praktischer ist als „Detektoren sind nutzlos“. Ein Detektorwert ist ein Signal. Er ist kein Beweis.

Wie die Studie aufgebaut war

Die Stärke dieses Papers ist sein Testsatz. Neun Forschende (die acht Autorinnen und Autoren plus eine weitere Person) bereiteten je sechs Dokumente vor, sodass für jeden Fall die Wahrheit bekannt war. Menschliche Texte von etwa 10.000 Zeichen wurden neu geschrieben, ungefähr auf Bachelorniveau, in Fächern wie Bauingenieurwesen, Informatik, Wirtschaft, Geschichte, Linguistik und Literatur. Keiner davon war je im Internet, was ausschließt, dass ein Modell ihn im Training gesehen hatte.

Die Detektoren waren Check For AI, Compilatio, Content at Scale, Crossplag, DetectGPT, Go Winston, GPT Zero, die GPT-2 Output Detector Demo, der OpenAI Text Classifier, PlagiarismCheck, Turnitin, Writeful GPT Detector, Writer und ZeroGPT. Zwölf waren kostenlose Webtools; Turnitin und PlagiarismCheck waren kommerzielle Systeme, die dem Team Zugang gewährten. Das ergab 756 Einzeltests, durchgeführt zwischen März und Mai 2023.

Weil Tools Wahrscheinlichkeiten statt Ja oder Nein ausgeben, ordneten die Autoren jede Ausgabe einer fünfstufigen Skala zu und berechneten die Genauigkeit auf drei verschiedene Arten. Die Rangfolge der Tools änderte sich zwischen den Methoden kaum, was es schwerer macht, die Ergebnisse als Artefakt der Bewertung abzutun.

Das Kernergebnis: Kein Tool erreichte 80 %

Jedes Tool lag unter 80 % Genauigkeit, und nur fünf kamen über 70 %: Turnitin, Compilatio, der GPT-2 Output Detector, Crossplag und Go Winston. Turnitin lag bei allen drei Bewertungsmethoden auf Platz eins. Dass der GPT-2 Output Detector Dritter wurde, überraschte die Autoren, da er nie auf GPT-3.5-Ausgaben trainiert worden war.

• Turnitin76 %
• Compilatio74 %
• GPT-2 Output Detector Demo72 %
• GPT Zero54 %
• PlagiarismCheck39 %
• Content at Scale33 %

Quelle: Weber-Wulff et al. 2023, Tabelle 5 (binärer Ansatz, 54 Dokumente pro Tool).

Eine Gesamtgenauigkeit verdeckt allerdings den Großteil der Geschichte. Interessant ist, wo jedes Tool versagte.

Wo die Genauigkeit einbrach

Gemittelt über Tools und Bewertungsmethoden wurde menschlich geschriebenes Englisch in 96 % der Fälle richtig eingestuft. Unbearbeiteter ChatGPT-Text kam auf 74 %. Danach fielen die Zahlen schnell.

• Von Menschen geschrieben (01-Hum)96 %
• ChatGPT, unbearbeitet (03/04-AI)74 %
• ChatGPT, von Hand bearbeitet (05-ManEd)42 %
• ChatGPT, maschinell paraphrasiert (06-Para)26 %

Quelle: Weber-Wulff et al. 2023, Abschnitt 5.1.1 (Mittelwert aller Genauigkeitsansätze).

Maschinelle Übersetzung. Menschliche Texte, die in einer anderen Sprache geschrieben und maschinell ins Englische übersetzt wurden, wurden etwa 20 Punkte seltener richtig eingestuft als englische Originaltexte. Übersetzung hinterlässt statistische Spuren, die Tools als Maschinenausgabe lesen, auch wenn jede Idee von einem Menschen stammt.

Leichte menschliche Bearbeitung. Synonyme tauschen und Teilsätze umstellen, die Art schneller Überarbeitung, die die Autoren Patchwriting nennen, drückte die durchschnittliche Genauigkeit auf 42 %.

Maschinelle Paraphrase. Ein Durchgang durch Quillbot senkte die Genauigkeit auf 26 %. Die meisten paraphrasierten KI-Texte wurden als menschlich gelesen.

Warum sollten so oberflächliche Änderungen so viel ausmachen? Die meisten Detektoren lesen nicht auf Bedeutung. Wie wir in So funktionieren KI-Detektoren erklären, bewerten sie, wie vorhersehbar jedes Wort ist und wie gleichförmig der Rhythmus des Texts wirkt. Ändert man genug Wortwahlen, verschiebt sich der statistische Fingerabdruck, während der Inhalt gleich bleibt. Das ist eine Schwäche des Detektors, keine Eigenschaft des Texts.

Eine Neigung zu „menschlich“ und das Problem falscher Anschuldigungen

Mit der bemerkenswerten Ausnahme von GPT Zero war jedes Tool bei menschlichem Text genauer als bei KI-Text. Die Autoren deuten das als vermutlich bewusste Designentscheidung und halten es im Bildungsbereich für die sicherere Richtung. Fehler gab es trotzdem in beide Richtungen.

Das Team definierte eine Quote falscher Anschuldigungen: den Anteil menschlich geschriebener Fälle, in denen die Ausgabe eines Tools eine Lehrkraft plausibel zu einer Anschuldigung gegen einen Studierenden verleiten würde. Bei englischen Originaltexten lag der Durchschnitt über alle Tools bei 2,4 %. Bei maschinell übersetzten Texten waren es 11,1 %. Die Hälfte der Tools erzeugte nie eine falsche Anschuldigung; GPT Zero war mit 50 % der Ausreißer, den die Autoren für den akademischen Einsatz als ungeeignet bezeichneten. Turnitin hatte in diesem Satz keine falschen Anschuldigungen.

Auf der anderen Seite blieben im Schnitt etwa 20 % der unbearbeiteten KI-Texte unerkannt, bei verschleierten etwa die Hälfte. Das Team sah außerdem, dass dasselbe Dokument an verschiedenen Tagen unterschiedliche Ergebnisse bekam: Ein Test mit Check For AI meldete geringes Risiko, fünf Tage später hohes Risiko. Für alle, die sich einer Anschuldigung gegenübersehen, ist diese Inkonsistenz ebenso wichtig wie die Fehlerraten.

Das Ergebnis zur Übersetzung verdient besonders die Aufmerksamkeit internationaler Forschender. In der Erstsprache zu schreiben und die eigene Arbeit zu übersetzen ist eine legitime Praxis, erhöhte in dieser Studie aber das Risiko einer Fehlmarkierung. Das deckt sich mit den Befunden, die wir in GPT-Detektoren benachteiligen Nicht-Muttersprachler behandeln.

Was die Autoren empfehlen

Die Schlussfolgerungen richten sich an Lehrende, und sie sind entschieden:

• Die Ausgabe eines Detektors darf nie die alleinige Grundlage für eine Meldung wegen Fehlverhaltens sein. Anders als Software zum Textabgleich liefern KI-Detektoren keine überprüfbare Quelle, sodass Studierende nichts Konkretes widerlegen können.
• Eine Markierung kann Anlass für ein Gespräch mit dem Studierenden sein, nicht für ein Urteil.
• Prävention sollte vor Erkennung kommen: klare Hinweise zu ethischer und unethischer Nutzung generativer KI und Prüfungsformen, die den Schreibprozess höher bewerten als das Endprodukt.
• Hochschulen sollten die datenschutzrechtliche und rechtliche Seite bedenken, wenn sie studentische Arbeiten bei cloudbasierten Erkennungsdiensten hochladen.

Das Paper ist auch offen, was seine Grenzen angeht. Es testete nur Englisch, einen einzigen Generator und Tools in ihrem Stand von Anfang 2023. Die Anbieter haben ihre Produkte seither aktualisiert, die konkreten Prozentwerte sollten also nicht als aktuelle Werte gelesen werden. Was Bestand hat, sind die Methode und die Fehlermuster, und spätere Arbeiten wie der RAID-Benchmark fanden dieselben Schwächen in viel größerem Maßstab.

Was das bedeutet, wenn Sie mit KI-Unterstützung schreiben

Wenn Sie forschen oder studieren, ergeben sich drei praktische Punkte. Erstens: Prüfen Sie, was Ihre Hochschule oder Zielzeitschrift tatsächlich erlaubt, und legen Sie KI-Nutzung offen, wo es verlangt wird. Zweitens: Bewahren Sie Ihre Entwürfe, Notizen und Versionshistorie auf; die Autoren der Studie betonen, dass Detektoren keinen Beweis liefern, und Ihre eigenen Prozessaufzeichnungen sind der stärkste Beleg, den Sie haben können (siehe wie eine Entwurfshistorie die wissenschaftliche Integrität stützt). Drittens: Wenn Sie markiert werden, geben Ihnen die veröffentlichten Fehlerraten eine vernünftige Grundlage, eine menschliche Prüfung zu verlangen. Unser Leitfaden Was tun, wenn Ihr Text fälschlich als KI markiert wird behandelt dieses Gespräch. Wenn eine Lehrperson einen Verdacht äußert, erklärt Können Dozenten KI erkennen?, worauf Lehrende neben dem Wert noch achten.

Wo Academic Humanizer ins Spiel kommt

Studien wie diese sind der Grund, warum es Academic Humanizer gibt: Formelle, sorgfältig bearbeitete wissenschaftliche Prosa kann nah an der Linie liegen, die Detektoren ziehen, und gute Ideen werden falsch etikettiert. Humanizer prüft einen Entwurf Satz für Satz, schreibt nur die Sätze um, die Detektoren markieren, und lässt den Rest genau so, wie Sie ihn geschrieben haben, wobei Ihre Aussagen, Zahlen und Zitate erhalten bleiben. Der integrierte KI-Erkennungsbericht zeigt jeden markierten Satz neben seiner Neufassung und vergleicht beide Fassungen mit demselben Maßstab, sodass Sie sehen, was sich geändert hat, und jede Zeile selbst prüfen können, bevor Sie sie verwenden.