Lassen sich KI-Detektoren täuschen? SICO und Prompt-Umgehung erklärt

Lassen sich KI-Detektoren allein mit einem Prompt täuschen, ganz ohne zusätzliches Paraphrasierungsmodell? Ein Paper aus dem Jahr 2024 in Transactions on Machine Learning Research sagt ja. Seine Methode, SICO, baut einen Prompt aus einigen Dutzend menschlichen Beispielen, und in den Tests der Autoren drückte sie sechs Detektoren etwa auf das Niveau eines Münzwurfs.

Ein NeurIPS-Paper aus dem Jahr 2025 ging weiter und steuerte einen Paraphrasierer Token für Token mit den eigenen Werten eines Detektors. Zusammen gelesen sagen die beiden Arbeiten weniger über clevere Tricks aus als über eine strukturelle Schwäche in der Bauweise von Detektoren. Dieser Beitrag erklärt beide und was daraus folgt.

Was SICO tut, einfach erklärt

SICO steht für Substitution-based In-Context example Optimization. Frühere Arbeiten zur Umgehung, etwa der DIPPER-Paraphrasierer, trainierten ein separates Modell, um KI-Text umzuschreiben. SICO stellt eine andere Frage: Wenn große Modelle gut darin sind, Beispielen zu folgen, können dann die richtigen Beispiele im Prompt dieselbe Arbeit leisten?

Grob besteht die Methode aus drei Teilen:

• Den Unterschied beschreiben. Dem Modell werden Paare aus KI-geschriebenen und von Menschen geschriebenen Antworten auf dieselben Aufgaben gezeigt, und es soll beschreiben, was das menschliche Schreiben auszeichnet.
• Die Beispiele verfeinern. Die In-Context-Beispiele werden über mehrere Runden durch Synonymtausch auf Wortebene und Umformulierung auf Satzebene verbessert. Ein Proxy-Detektor bewertet jeden Kandidaten, und Änderungen, die die Beispiele weniger maschinell wirken lassen, werden behalten, unter der Bedingung, dass die Bedeutung ähnlich bleibt.
• Den Prompt wiederverwenden. Der fertige Prompt (die Merkmalsbeschreibung, die Aufgabenanweisung und die verfeinerten Beispiele) lässt sich dann für neue Eingaben derselben Aufgabe nutzen.

Der Aufwand ist gering. Die Autoren berichten, dass sie nur 40 von Menschen geschriebene Beispiele und eine begrenzte Zahl an Modellaufrufen brauchten, nach ihrer Schätzung etwa 1 USD an GPT-3.5-API-Nutzung. SICO gibt es in zwei Formen: SICO-Gen schreibt die Ausgabe der Aufgabe direkt, SICO-Para schreibt vorhandene KI-Ausgaben um. Einfache Anweisungen wie „write like a human“ sind etwas anderes; lesen Sie dazu, warum einfache Prompts meist scheitern.

Wie getestet wurde

Die Experimente nutzten GPT-3.5 für drei Aufgaben: wissenschaftliches Schreiben von Aufsätzen (Vervollständigen von Wikipedia-Absätzen aus dem SQuAD-Datensatz), offene Fragenbeantwortung (ELI5-Fragen) und gefälschte Yelp-Bewertungen. Jede Aufgabe umfasste 200 KI-generierte und 200 von Menschen geschriebene Texte.

Getestet wurden sechs Detektoren: ein auf GPT-3.5-Text feinjustiertes RoBERTa-Modell (zugleich der Proxy bei der Optimierung), OpenAIs GPT-2-Output-Detektor, GPTZero, der AI Text Classifier von OpenAI, DetectGPT und eine Log-Rank-Methode. SICO wurde mit vier Paraphrasierungs-Baselines verglichen, darunter DIPPER und ein handgeschriebener Prompt nach dem Muster „make it sound human“.

Die Qualität der Detektoren wurde mit der AUC gemessen, wobei 1,0 eine perfekte Trennung von KI- und Menschentext bedeutet und 0,5 nicht besser als Zufall ist.

Was die Ergebnisse zeigen

SICO schlug jede Baseline in jedem Setting und brachte die AUC der Detektoren meist unter 0,5. Bei der Aufgabe zum wissenschaftlichen Schreiben waren die Einbrüche groß:

• DetectGPT, original0,834
• DetectGPT, SICO-Para0,149
• GPTZero, original0,779
• GPTZero, SICO-Para0,290
• GPT-3.5-Detektor, original0,908
• GPT-3.5-Detektor, SICO-Para0,239

Quelle: Lu et al. 2024, Tabelle 1 (Schreibaufgabe). Eine AUC von 0,5 entspricht zufälligem Raten.

Eine AUC deutlich unter 0,5 bedeutet, dass der Detektor SICO-Text als menschlicher einstufte als die tatsächlich menschlichen Texte. Zum Vergleich: DIPPER brachte GPTZero bei derselben Aufgabe nur auf 0,689.

Auch die Qualität hielt stand. In einer menschlichen Bewertung bei der Schreibaufgabe erzielte SICO-Gen-Text 3,84 bei der Lesbarkeit gegenüber 3,92 für menschlichen Text und erfüllte die Aufgabe in 93,6 % der Fälle gegenüber 98,2 % bei menschlichen Autoren. DIPPER kam auf 70,6 % erfüllte Aufgaben.

Die Autoren testeten auch eine Abwehr. Wurde der ursprüngliche Detektor mit einem zweiten kombiniert, der auf SICO-Text trainiert war, und der höhere Wert genommen, stieg die AUC bei SICO-Para-Texten für den GPT-2-Detektor von 0,332 auf 0,762, fast ohne Verlust bei gewöhnlichem KI-Text.

Adversarial Paraphrasing: Steuerung mit dem Detektor selbst

Das Team der University of Maryland hinter diesem Paper ging von einer berechtigten Beobachtung aus: Neuere Detektoren, vor allem solche, die auf paraphrasiertem Text trainiert wurden, ließen sich mit einfacher Paraphrasierung schwerer täuschen. In ihren Tests erhöhte einfaches Paraphrasieren die Richtig-positiv-Rate bei 1 % Falsch-positiven sogar, um 8,57 % bei RADAR und 15,03 % bei Fast-DetectGPT.

Ihre Methode braucht kein Training. Ein handelsübliches Instruktionsmodell (in ihrem Setup LLaMA-3-8B) paraphrasiert den Text, und bei jedem Schritt bewertet ein Detektor die Kandidaten für das nächste Token; gewählt wird der Kandidat, der am wenigsten nach KI aussieht. Die Autoren beschreiben das als eine vom Detektor gesteuerte Suche mit einer Tiefe von einem Token.

Gesteuert von einem RoBERTa-Large-Detektor von OpenAI senkte der Angriff die Richtig-positiv-Rate bei 1 % Falsch-positiven um 64,49 % bei RADAR und um 98,96 % bei Fast-DetectGPT, mit einer durchschnittlichen Senkung von 87,88 % über acht Detektoren, die neuronale Klassifikatoren, Wasserzeichen und Zero-Shot-Methoden umfassen. Das Schlüsselwort ist Transfer: Die Optimierung gegen einen Detektor schwächte Detektoren völlig anderer Bauart. Die Autoren berichten meist nur leichte Einbußen bei der Textqualität und analysieren diesen Zielkonflikt ausdrücklich.

Was diese Forschung über die Robustheit von Detektoren sagt

Lässt man die Methodennamen beiseite, machen beide Arbeiten denselben Punkt. Ein Detektor ist ein Klassifikator, der eine Grenze zwischen zwei Verteilungen von Text gelernt hat. Alles, was einen Detektor oder einen brauchbaren Ersatz dafür abfragen kann, kann lernen, wo diese Grenze verläuft. SICO schaffte das über eine Handvoll Prompt-Beispiele, Adversarial Paraphrasing über Entscheidungen pro Token. Keine der beiden brauchte die Interna des Detektors.

Daraus folgen drei praktische Konsequenzen:

• Erkennung wird zum Wettrüsten. Abwehrmaßnahmen wie das Ensemble aus der SICO-Studie oder adversariales Training helfen gegen bekannte Angriffe, und jeder neue Angriff verschiebt die Grenze erneut.
• Transfer heißt, kein Detektor ist sicher, nur weil er anders ist. Die Optimierung gegen ein Modell schwächte andere, was zum Gesamtbild im RAID-Benchmark passt.
• Oberflächenform ist nicht Urheberschaft. Wenn kleine, bedeutungserhaltende Änderungen ein Urteil umkehren, hat das Urteil Stilstatistiken verfolgt, nicht, wer gedacht hat. Aus demselben Grund werden sorgfältige menschliche Autoren markiert, besonders Nicht-Muttersprachler des Englischen.

Nichts davon macht es akzeptabel, Regeln für Studienleistungen zu umgehen. Beide Arbeiten verstehen sich als Belastungstests, die Schwächen offenlegen, damit die Erkennung besser wird. Wenn Sie KI-Tools in wissenschaftlicher Arbeit nutzen, ist der ehrliche Weg, die Richtlinie Ihrer Hochschule oder Zeitschrift zu befolgen, die Nutzung offenzulegen, wo es verlangt wird, und Ihre Entwürfe aufzubewahren, damit Ihr Arbeitsprozess sichtbar bleibt.

Wo Academic Humanizer ins Spiel kommt

Für Forschende ist die nützliche Lehre aus dieser Literatur, dass Bedeutung und Detektorurteil auseinanderfallen können. Academic Humanizer ist darauf ausgelegt, die Bedeutung festzuhalten: Humanizer schreibt nur die Sätze um, die Detektoren markieren, bewahrt Ihre Aussagen, Zahlen, Fachbegriffe und Zitate und lässt Sätze, die sich menschlich lesen, unangetastet. Er wird gegen Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling und Originality.ai validiert, und der KI-Erkennungsbericht zeigt jede Neufassung neben dem Original, sodass Sie jede Änderung selbst freigeben.