Wie funktionieren KI-Detektoren? Und warum Ihr eigener Text auffällt

KI-Detektoren funktionieren, indem sie messen, wie vorhersagbar ein Text für ein Sprachmodell aussieht, nicht indem sie auf Bedeutung hin lesen, und genau deshalb kann auch Ihr eigener Text als KI markiert werden. Manche nutzen einfache Statistiken wie Perplexität und Burstiness, manche einen Klassifikator, der an gekennzeichneten Beispielen trainiert wurde, und einige wenige versteckte Wasserzeichen, die bei der Generierung in den Text eingebettet werden. Keiner von ihnen weiß, wer den Text geschrieben hat. Sie beurteilen, ob sein Muster maschineller Ausgabe ähnelt.

Jede Methode hat eine andere Schwachstelle, und fast alle teilen eine: Sorgfältige, formale, konventionelle Prosa ist von Natur aus vorhersagbar. Deshalb kann ein gut lektorierter Methodenteil näher an „KI“ landen als ein unordentlicher Blogbeitrag. Hier lesen Sie, wie die wichtigsten Ansätze funktionieren, was die Forschung über ihre Grenzen sagt und warum wissenschaftliches Schreiben so nah an der Entscheidungsgrenze liegt.

Das Kernsignal: Wie überrascht ist das Modell?

Ein Sprachmodell weist jedem möglichen nächsten Wort eine Wahrscheinlichkeit zu (genauer gesagt jedem nächsten Token). Wenn ein Modell Text erzeugt, wählt es meist Tokens mit hoher Wahrscheinlichkeit, denn genau das bewirkt das Ziehen aus seiner Verteilung. Menschliche Autoren sind nicht an diese Regel gebunden. Wir wählen ein ungewöhnliches Verb, greifen ein Detail von drei Seiten vorher auf oder brechen ein Muster, um etwas zu betonen.

Die Perplexität macht daraus eine Zahl. Man lässt eine Passage durch ein Modell laufen, fragt, wie wahrscheinlich jedes Token angesichts des Vorangegangenen war, und mittelt das Ergebnis. Niedrige Perplexität bedeutet, dass das Modell den Text leicht vorhersagen konnte. Hohe Perplexität bedeutet, dass es immer wieder überrascht wurde. Die Erklärung von GPTZero definiert Perplexität ungefähr so und wertet höhere Werte als Zeichen menschlicher Autorschaft (GPTZero).

The results of this study suggest that soil moisture plays an important role in seedling survival, though only after the second frost.

Grün: Tokens, die ein Modell erwartet hat. Neutral: Themenwörter. Rot: Tokens, die das Modell für unwahrscheinlich hielt. Die erste Hälfte liest sich wie eine Schablone; die späte Einschränkung ist das, was ein menschlicher Leser und ein Detektor bemerken.

Die Idee ist älter als ChatGPT. GLTR, ein Werkzeug von Forschenden aus Harvard und von IBM aus dem Jahr 2019, färbte jedes Wort nach seinem Rang in den Vorhersagen eines Modells ein, damit Menschen generierten Text erkennen konnten. In ihrer Studie steigerte die Visualisierung die Erkennungsrate ungeschulter Leser von 54 % auf 72 % (Gehrmann et al., ACL 2019 Demo).

Burstiness: Schwankung zwischen Sätzen

Perplexität wird über Tokens gemessen. Burstiness schaut eine Ebene höher: wie stark sich die Vorhersagbarkeit von Satz zu Satz ändert. Menschliche Prosa wechselt meist ab. Eine kurze Aussage, dann ein langer Satz mit zwei Nebensätzen und einer Klammer, dann ein Satzfragment. Generierter Text hält oft einen gleichmäßigeren Rhythmus, mit Sätzen ähnlicher Länge und ähnlichen Baus.

Ein Detektor, der Burstiness verfolgt, fragt, ob die Passage solche Ausschläge nach oben und unten hat. Flache Profile schieben den Wert in Richtung „KI“. Der Haken: Viele Textsorten sind absichtlich flach. Abstracts, Protokollbeschreibungen sowie juristische oder regulatorische Texte belohnen gleichförmige Sätze.

Perplexität und Burstiness sind leicht zu erklären, weshalb sie populäre Artikel dominieren. Die ganze Geschichte sind sie aber nicht mehr. GPTZero selbst gibt an, auf eine Deep-Learning-Architektur umgestiegen zu sein und diese beiden Maße heute nur noch als Teil seiner Indikatoren zu nutzen, nicht als Hauptmethode.

Trainierte Klassifikatoren

Die meisten kommerziellen Detektoren sind heute überwachte Klassifikatoren. Ein Team sammelt große Mengen menschlich und maschinell geschriebener Texte, kennzeichnet sie und trainiert ein neuronales Netz darauf, sie zu unterscheiden. Das Netz lernt alles, was die beiden Stapel trennt: Wortwahl, Häufigkeit von Wendungen, Gewohnheiten bei der Zeichensetzung, Absatzform und Muster, die noch niemand benannt hat.

Klassifikatoren können bei Text, der ihren Trainingsdaten ähnelt, sehr genau sein. Ghostbuster, ein Forschungssystem, das Merkmale mehrerer schwächerer Sprachmodelle in einen Klassifikator einspeist, berichtete auf seinem Benchmark domänenübergreifend 99,0 F1 (Verma et al., NAACL 2024). Das Problem ist die Drift. Ein Klassifikator, der an einer Modellgeneration, einer Auswahl von Textsorten und einer Decodiereinstellung trainiert wurde, kann ins Straucheln geraten, sobald sich eines davon ändert. Der RAID-Benchmark mit über 6 Millionen Generierungen aus 11 Modellen, 8 Domänen und 11 adversarialen Angriffen stellte fest, dass sich Detektoren durch geänderte Sampling-Strategien, unbekannte Modelle und einfache Angriffe leicht täuschen lassen (Dugan et al., ACL 2024).

Das deutlichste Warnbeispiel kam von OpenAI. Sein eigener KI-Textklassifikator, im Januar 2023 veröffentlicht, markierte in seinem Testdatensatz nur 26 % der KI-geschriebenen Texte korrekt und stufte 9 % der menschlichen Texte falsch ein. OpenAI zog ihn im Juli 2023 wegen seiner geringen Genauigkeit zurück (OpenAI).

Statistische Zero-Shot-Methoden

Eine zweite Familie von Detektoren verzichtet ganz auf Training. Diese Zero-Shot-Methoden testen eine Passage mit den Wahrscheinlichkeiten eines Sprachmodells selbst.

DetectGPT aus Stanford beruht auf einer Beobachtung: Von einem Modell erzeugter Text liegt meist auf einem lokalen Gipfel der Log-Wahrscheinlichkeit dieses Modells. Verändert man einige Wörter mit einem zweiten Modell (die Autoren nutzten T5), verliert Maschinentext schnell an Wahrscheinlichkeit, während sich menschlicher Text weniger vorhersagbar verändert. Bei Falschnachrichten eines Modells mit 20 Milliarden Parametern erreichte DetectGPT 0,95 AUROC gegenüber 0,81 für die stärkste Zero-Shot-Vergleichsmethode (Mitchell et al., ICML 2023).

• Maschinell erzeugte Passage
• Von Menschen geschriebene Passage

Illustrative Form, basierend auf der von Mitchell et al. (2023) beschriebenen Methode

DetectGPT ist aufwendig, weil es viele gestörte Kopien jeder Passage bewertet. Fast-DetectGPT ersetzte den Störungsschritt durch eine günstigere Stichprobenschätzung und berichtete eine relative Verbesserung um etwa 75 % und eine 340-fache Beschleunigung (Bao et al., ICLR 2024). Binoculars vergleicht, wie zwei eng verwandte Modelle denselben Text bewerten, und berichtete, über 90 % der ChatGPT-Texte bei einer Falsch-Positiv-Rate von 0,01 % zu erkennen, ohne mit ChatGPT-Daten trainiert worden zu sein (Hans et al., ICML 2024).

Wasserzeichen

Wasserzeichen verlegen die Erkennung in den Moment der Generierung. Im Verfahren von Kirchenbauer und Kollegen teilt das Modell sein Vokabular bei jedem Schritt anhand eines Hashwerts des vorherigen Tokens in eine „grüne“ und eine „rote“ Liste und lenkt das Sampling leicht in Richtung grüner Tokens. Ein Detektor, der die Hash-Regel kennt, zählt die grünen Tokens und führt einen statistischen Test durch. Menschlicher Text liegt nahe dem Zufall; Text mit Wasserzeichen hat zu viele grüne Tokens (Kirchenbauer et al., ICML 2023).

Wasserzeichen funktionieren nur, wenn das Modell, das den Text schrieb, eines gesetzt hat, und nur für Detektoren, die den Schlüssel kennen. Außerdem werden sie bei starker Bearbeitung schwächer. Krishna et al. zeigten, dass ein trainierter Paraphrasierer die Erkennungsrate von DetectGPT bei einer Falsch-Positiv-Rate von 1 % von 70,3 % auf 4,6 % senkte und dass auch die Wasserzeichenerkennung nachließ (Krishna et al., NeurIPS 2023). In der Praxis sind die Detektoren, die Ihre Hochschule oder Zeitschrift nutzt, also Klassifikatoren und statistische Bewerter, keine Wasserzeichenleser.

Satzwerte und Dokumentwerte

Detektoren berichten in unterschiedlicher Körnung. Manche liefern eine einzige Wahrscheinlichkeit für das ganze Dokument. Andere bewerten jeden Satz oder kurze Abschnitte, heben verdächtige hervor und fassen sie dann zu einem Prozentwert zusammen. Turnitin etwa hebt Sätze hervor und hat in seinen eigenen Hinweisen eine Falsch-Positiv-Rate auf Satzebene von rund 4 % angegeben (Turnitin).

Bewertung auf Satzebene ist aussagekräftiger, aber verrauschter. Ein Satz hat wenige Tokens, daher ist seine Perplexitätsschätzung instabil. Bewertung auf Dokumentebene ist stabiler, verbirgt aber, wo das Problem liegt. Den Zielkonflikt behandeln wir ausführlich in KI-Erkennung auf Satzebene, und warum verschiedene Tools sich widersprechen, in warum KI-Detektoren sich widersprechen.

Warum formale wissenschaftliche Prosa nah an der Grenze liegt

Jede der oben beschriebenen Methoden belohnt Überraschung und bestraft Konvention. Wissenschaftliches Schreiben beruht auf Konvention. Fächer standardisieren ihre Formulierungen, damit Leser Artikel schnell erfassen können: „Participants were randomly assigned to“, „These findings are consistent with“, „Further research is needed to“. Stilratgeber raten von Ausschmückungen ab. Nicht-Muttersprachler greifen oft auf einen engeren, sichereren Wortschatz zurück. All das senkt die Perplexität.

Den deutlichsten Beleg liefern Liang et al. aus Stanford. Sie ließen sieben Detektoren TOEFL-Essays von Nicht-Muttersprachlern und Essays von US-Achtklässlern prüfen. Bei den muttersprachlichen Essays arbeiteten die Detektoren fast perfekt, stuften die TOEFL-Essays aber im Durchschnitt in 61,3 % der Fälle fälschlich als KI ein. Als die Forschenden den Wortschatz derselben Essays mit ChatGPT anreicherten, fiel die durchschnittliche Falsch-Positiv-Rate auf 11,6 % (Liang et al., Patterns 2023).

• Original-Essays61,3 %
• Nach Anreicherung des Wortschatzes11,6 %

Quelle: Liang et al., „GPT detectors are biased against non-native English writers“, Patterns 2023

Die Lehre daraus ist nicht, dass Detektoren nutzlos sind. Sie lautet, dass ihre Werte ebenso viel über Stil wie über Autorschaft aussagen. Eine sorgfältige Forscherin, die schlichtes, diszipliniertes Englisch schreibt, kann ganz ohne KI auf der falschen Seite der Grenze landen. Diesen Effekt betrachten wir genauer in unserer Besprechung der Liang-Studie und in warum formale Prosa KI-geschrieben wirken kann. Überarbeitungstechniken, bei denen Ihre eigenen Ideen erhalten bleiben, finden Sie unter KI-Erkennung beim wissenschaftlichen Schreiben vermeiden.

Wo Academic Humanizer ins Bild passt

Academic Humanizer wurde für genau dieses letzte Problem gebaut. Humanizer prüft einen Entwurf Satz für Satz, schreibt nur die Sätze um, die Detektoren markieren, und lässt den Rest exakt so, wie Sie ihn geschrieben haben, samt Argument, Zahlen, Quellenangaben und Terminologie. Der integrierte AI Detection Report zeigt jeden markierten Satz neben seiner Umformulierung und vergleicht beide Fassungen, und die Ergebnisse werden gegen Detektoren wie Turnitin, GPTZero und Originality.ai geprüft. Bevor Sie ein Tool für eingereichte Arbeiten nutzen, prüfen Sie die KI-Richtlinien Ihrer Hochschule oder Zeitschrift und lesen Sie die Ausgabe selbst, bevor sie irgendwohin geht.