Sind KI-Detektoren unfair? Fehlalarme bei Nicht-Muttersprachlern

Sind KI-Detektoren voreingenommen? Im bekanntesten Test ja: Sie erzeugten bei Texten von Nicht-Muttersprachlern des Englischen weit mehr Fehlalarme als bei Texten von Muttersprachlern. Das ist der zentrale Befund von „GPT detectors are biased against non-native English writers“, einer Studie von Weixin Liang, James Zou und Kollegen aus Stanford aus dem Jahr 2023, erschienen in der Fachzeitschrift Patterns. Sieben verbreitete Detektoren stuften im Durchschnitt 61 % der TOEFL-Essays echter Studierender als KI-generiert ein, während sie Essays von US-Achtklässlern nahezu fehlerfrei beurteilten.

Für internationale Forschende und Studierende ist diese Studie der deutlichste Beleg dafür, dass ein Detektorurteil eher widerspiegeln kann, wie Sie Englisch schreiben, als ob Sie KI genutzt haben. Hier lesen Sie, wie die Studie funktionierte, warum die Verzerrung entsteht und was sich seitdem geändert hat.

Wie die Studie von Liang et al. aufgebaut war

Der Aufbau ist einfach, und genau das machte ihn so überzeugend. Die Autoren sammelten zwei Gruppen von Essays, die vollständig von Menschen geschrieben waren:

• 91 TOEFL-Essays von Nicht-Muttersprachlern, gesammelt in einem chinesischen Bildungsforum.
• 88 Essays von US-Schülerinnen und -Schülern der achten Klasse aus dem Datensatz des Automated Student Assessment Prize der Hewlett Foundation.

Sie ließen jeden Essay durch sieben damals verbreitete Detektoren laufen: Originality.AI, Quill.org, Sapling, den Klassifikator von OpenAI, Crossplag, GPTZero und ZeroGPT. Da alle Essays von Menschen stammten, war jedes KI-Urteil ein Fehlalarm.

Die Ergebnisse: 61 % der TOEFL-Essays markiert

Bei den US-Essays arbeiteten die Detektoren fast perfekt. Bei den TOEFL-Essays lag die durchschnittliche Falsch-Positiv-Rate der sieben Tools bei 61,22 %. Schlimmer noch: Die Fehler waren nicht zufällig verteilt.

Achtzehn der 91 Essays wurden von jedem einzelnen Detektor als KI-generiert eingestuft. Und 89 von 91 wurden von mindestens einem markiert. Wenn eine Lehrkraft oder ein Herausgeber den Essay eines Nicht-Muttersprachlers durch irgendein gerade verfügbares Tool schickt, legen diese Zahlen eine hohe Wahrscheinlichkeit für mindestens einen Fehlalarm nahe.

Warum das passiert: Perplexität und eingeschränkter Wortschatz

Viele Detektoren stützen sich auf die Perplexität, ein Maß dafür, wie überrascht ein Sprachmodell von einem Text ist. Maschinelle Ausgaben haben meist eine niedrige Perplexität, weil Modelle wahrscheinliche Wörter wählen. Das Problem ist, dass auch menschliches Schreiben aus völlig harmlosen Gründen eine niedrige Perplexität haben kann.

Wer in einer Zweitsprache schreibt, nutzt oft einen kleineren, sichereren Wortschatz und gängigere Satzstrukturen. Das ist kein Mangel im Denken; so schreiben die meisten Menschen in einer später erlernten Sprache. Für ein Sprachmodell sind diese Entscheidungen aber vorhersagbar, und vorhersagbar wirkt maschinell. Die Autoren maßen die Perplexität direkt und stellten fest, dass die TOEFL-Essays eine deutlich niedrigere Perplexität hatten als die US-Essays.

• Maschinell erzeugter Text
• Menschliches Schreiben von Nicht-Muttersprachlern

Illustratives Beispiel des Mechanismus, keine Daten aus der Studie

Das Experiment mit angereichertem Wortschatz

Um zu prüfen, ob der Wortschatz die Verzerrung tatsächlich verursachte, führten die Autoren das Experiment in beide Richtungen durch und nutzten ChatGPT als Lektor.

• Essays von Nicht-Muttersprachlern anreichern. Sie baten ChatGPT, die Wortwahl in den TOEFL-Essays so zu verbessern, dass sie eher nach Muttersprachlern klangen. Die durchschnittliche Falsch-Positiv-Rate fiel von 61,22 % auf 11,77 %, und nur noch 1 von 91 Essays wurde von allen sieben Detektoren markiert.
• Essays von Muttersprachlern vereinfachen. Sie baten ChatGPT, die Wortwahl in den US-Essays zu vereinfachen, um das Schreiben von Nicht-Muttersprachlern nachzuahmen. Die Fehlklassifikation stieg von durchschnittlich 5,19 % auf 56,65 %.

• TOEFL-Essays, Original61,22 %
• TOEFL-Essays, Wortwahl angereichert11,77 %
• Essays von US-Achtklässlern, Original5,19 %
• Essays von US-Achtklässlern, Wortwahl vereinfacht56,65 %

Quelle: Liang et al., „GPT detectors are biased against non-native English writers“, Patterns 2023

Der Inhalt jedes Essays blieb gleich. Nur der Wortschatz änderte sich, und die Urteile schwankten in jede Richtung um rund fünfzig Prozentpunkte. Die Autoren zeigten auch die Kehrseite: Wenn ChatGPT seine eigenen College-Essays und wissenschaftlichen Abstracts in literarischerer Sprache umschrieb, sank die Erkennung deutlich. Bei Abstracts fiel sie von bis zu 68 % auf bis zu 28 %. Ihr Fazit: Detektoren in ihrer jetzigen Form könnten Schreibende mit eingeschränkten sprachlichen Ausdrucksmitteln benachteiligen, während entschlossene Nutzer sie leicht umgehen können.

Was das für internationale Forschende bedeutet

Wissenschaftliches Englisch drängt ohnehin alle zu standardisierten Formulierungen. Kommt das Schreiben in einer Zweitsprache hinzu, landet die Prosa vieler internationaler Forschender genau in dem Bereich, den Detektoren mit Maschinen verbinden. Daraus ergeben sich einige praktische Punkte, und unser Leitfaden KI-Erkennung beim wissenschaftlichen Schreiben vermeiden macht daraus konkrete Überarbeitungsschritte.

• Eine Markierung ist kein Beweis für Fehlverhalten. Die Autoren warnten ausdrücklich davor, Detektoren in Bewertungs- oder Bildungskontexten einzusetzen. Wenn Sie markiert werden, erklärt unser Leitfaden, was zu tun ist, wenn Sie fälschlich als KI markiert werden, wie Sie reagieren können.
• Machen Sie Ihren Arbeitsprozess sichtbar. Entwürfe, Notizen und Versionsverlauf sind die stärkste Antwort auf einen umstrittenen Wert. Lesen Sie dazu, wie ein Entwurfsverlauf die akademische Integrität stützt.
• Formal ist nicht dasselbe wie maschinell. Derselbe Mechanismus erklärt, warum formale Prosa KI-geschrieben wirken kann, auch bei Muttersprachlern.

Grenzen der Studie und spätere Arbeiten

Die Studie hat echte Grenzen. Die Stichproben sind überschaubar, 91 und 88 Essays, und es handelt sich um Schüler- und Studierendenaufsätze, nicht um Fachartikel. Die Detektoren wurden Anfang 2023 getestet, und seitdem haben alle Anbieter ihre Modelle aktualisiert. OpenAI zog seinen Klassifikator noch im selben Jahr zurück. Die genauen Prozentwerte beschreiben also diese Tools zu jener Zeit, nicht die heutigen Versionen.

Spätere Forschung zeichnet ein gemischtes Bild. Die Autoren von Binoculars, einem auf der ICML 2024 vorgestellten Zero-Shot-Detektor, testeten Essays von Nicht-Muttersprachlern in Original- und grammatisch korrigierter Fassung und berichteten für beide eine Genauigkeit von 99,67 %, was darauf hindeutet, dass manche Methoden weniger anfällig für diesen Effekt sind. Andererseits nannten die Autoren von Fast-DetectGPT höhere Falsch-Positiv-Raten bei Texten von Nicht-Muttersprachlern als Risiko für Detektoren ihres Typs. Wir vergleichen diese Methoden in Fast-DetectGPT und Binoculars erklärt. Die grundlegende Spannung ist nicht verschwunden: Jeder Detektor, der überraschende Wortwahl belohnt, wird schlichtes, sorgfältiges Englisch schwerer beurteilen können.

Wie Academic Humanizer damit umgeht

Academic Humanizer wurde für Forschende gebaut, deren eigene Ideen fälschlich als Maschinentext eingestuft werden, darunter viele, die Englisch als Zweitsprache schreiben. Er prüft einen Entwurf Satz für Satz, schreibt nur die Sätze um, die Detektoren markieren, und lässt Ihre Aussagen, Zahlen, Quellenangaben und Fachterminologie unangetastet; Sätze, die bereits menschlich wirken, bleiben genau so, wie Sie sie geschrieben haben. Der AI Detection Report zeigt jede Änderung im direkten Vergleich, sodass Sie die endgültige Formulierung freigeben, und es empfiehlt sich, parallel die KI-Richtlinien Ihrer Zeitschrift oder Hochschule zu prüfen.