Welche Sätze werden als KI markiert? KI-Erkennung auf Satzebene

KI-Detektoren markieren einen Satz, wenn er vorhersagbarer wirkt, als Menschen gewöhnlich schreiben, und die üblichen Verdächtigen sind generische Einstiege, Wegweiser und Zusammenfassungen. KI-Erkennung auf Satzebene bewertet jeden Satz (oder ein kurzes Fenster aus Sätzen) einzeln und fasst diese Werte dann zu einem Ergebnis für das Dokument zusammen. Erkennung auf Dokumentebene bewertet den ganzen Text auf einmal. Weil die meisten echten Entwürfe gemischt sind, kann die Art, wie ein Tool einige markierte Sätze hochrechnet, über das Urteil zum Ganzen entscheiden.

Wenn Sie wissen wollen, welche Sätze in Ihrem eigenen Entwurf als KI markiert werden, brauchen Sie eine Ansicht auf Satzebene. Dieser Beitrag erklärt, wie beide Ansätze funktionieren, warum eine Handvoll Sätze ein Dokument kippen kann, warum es sicherer ist, nur diese Sätze umzuschreiben statt alles, und was sich ändert, wenn man mehrere Detektoren kombiniert.

Zwei Arten, einen Text zu bewerten

Ein Detektor auf Dokumentebene liest die ganze Passage und gibt eine einzige Zahl aus, oft formuliert als Wahrscheinlichkeit, dass der Text KI-generiert ist. Er hat viel Evidenz zur Verfügung, daher ist die Schätzung relativ stabil. Der Nachteil: Er kann Ihnen nicht sagen, woher das Signal stammt.

Ein Detektor auf Satzebene zerlegt den Text in Einheiten und bewertet jede einzeln. Viele Tools heben dann die markierten Einheiten hervor und geben an, welchen Anteil des Texts sie ausmachen. Das entspricht eher der Art, wie Schreiben tatsächlich abläuft: Menschen entwerfen manche Absätze selbst, bitten bei anderen ein Modell um Hilfe und überarbeiten beides. Die Forschung ist dem gefolgt. SeqXGPT, vorgestellt auf der EMNLP 2023, baute einen Datensatz aus Dokumenten, die menschliche und von KI veränderte Sätze mischen, und berichtete, dass frühere Methoden auf Satzebene Schwierigkeiten hatten, während der eigene Ansatz auf Satz- und Dokumentebene funktionierte (Wang et al., EMNLP 2023).

We expected attendance to fall after the fee change, and in two of the three districts it did. These findings highlight the important role that economic factors play in shaping educational outcomes. The third district is the puzzle: attendance rose by four points, and the head teachers we interviewed credited a bus route that opened the same term. This suggests that transport access may moderate the effect of fees. Overall, the results underscore the need for a comprehensive approach to policy design.

Zwei von fünf Sätzen markiert, einer grenzwertig. Ein Dokumentwert würde das zu einer einzigen Zahl verwischen.

Achten Sie darauf, welche Sätze im Beispiel markiert werden. Es sind die generischen Zusammenfassungszeilen, die fast jedes Paper abschließen könnten. Die Sätze mit konkreten Orten, Zahlen und einer benannten Ursache lesen sich als menschlich. Dieses Muster ist häufig und nützlich: Es zeigt Ihnen genau, wo sich Überarbeitung lohnt.

Das Rauschproblem einzelner Sätze

Satzwerte sind aufschlussreich, aber einzeln unsicher. Ein Satz hat wenige Tokens, daher beruht jede Schätzung der Vorhersagbarkeit auf dünner Evidenz. Viele Tools glätten das, indem sie überlappende Fenster bewerten, sodass das Label eines Satzes teilweise von seinen Nachbarn abhängt.

Turnitin hat diesen Effekt offen beschrieben. In einem Beitrag zu seinen Falsch-positiv-Raten nannte das Unternehmen eine Falsch-positiv-Rate auf Satzebene von rund 4 % und berichtete, dass 54 % der falsch positiven Sätze direkt neben tatsächlichem KI-Text stehen (Turnitin). Mit anderen Worten: Menschliche Sätze in der Nähe markierter Sätze werden eher ebenfalls markiert.

Praktisch heißt das: Betrachten Sie einen einzelnen hervorgehobenen Satz als Anlass hinzusehen, nicht als Befund. Muster über einen ganzen Absatz sind aussagekräftiger als jede einzelne Zeile.

Warum wenige Sätze das Dokument kippen können

Jedes Tool muss Satzwerte in ein Urteil über das Dokument übersetzen, und die gewählte Regel ist wichtiger, als den meisten Nutzern bewusst ist. Übliche Optionen sind der durchschnittliche Satzwert, der Anteil der Sätze über einem Schwellenwert oder ein eigener Schwellenwert für diesen Anteil. Bei einer anteilsbasierten Regel liegt ein Abstract mit 20 Sätzen, davon vier markiert, bei 20 %, was eine Meldegrenze überschreiten kann oder auch nicht. Korrigieren Sie zwei davon, halbiert sich der Anteil.

Auch Häufungen spielen eine Rolle. Weil benachbarte Sätze sich bei fensterbasierter Bewertung gegenseitig beeinflussen, können drei generische Sätze hintereinander einen vierten, menschlichen Satz über die Linie ziehen. Lösen Sie die Häufung auf, ist der Nachbar oft von selbst wieder unauffällig. Deshalb können wenige Änderungen an den richtigen Stellen ein Dokumentergebnis stärker verändern als viele gleichmäßig verteilte Änderungen.

Bei wissenschaftlichen Texten sind die üblichen Verdächtigen vorhersehbar: einleitende Kontextsätze, Wegweiser („This section discusses“) und abschließende Zusammenfassungen. Lösungen dafür finden Sie in So überarbeiten Sie Sätze, die nach KI klingen. Literaturverzeichnisse und Zitate sind ein eigener Fall; lesen Sie dazu, warum Turnitin Quellen und Zitate als KI markiert.

Warum nur die markierten Sätze umschreiben

Wenn die Erkennung Satz für Satz arbeitet, sollte die Überarbeitung das auch tun. Ein ganzes Dokument umzuschreiben, um vier Sätze zu korrigieren, hat drei Kosten.

• Das Bedeutungsrisiko wächst mit dem Umfang. Jeder umgeschriebene Satz kann eine Abschwächung, eine Zahl oder einen Zitatbezug verlieren. 4 Sätze umzuschreiben bedeutet vier Gelegenheiten für Verschiebungen, 40 umzuschreiben bedeutet vierzig. Siehe Bedeutung und Zitate erhalten.
• Ihre Stimme verschwindet. Die Sätze, die sich als menschlich lesen, sind meist die mit Ihren konkreten Beobachtungen. Eine globale Umformulierung ebnet sie ein.
• Neue Markierungen können entstehen. Ein überall angewandter Umschreiber kann zuvor unauffällige Sätze gleichförmig machen und so an anderer Stelle die Werte erhöhen.

1. Jeden Satz bewertenHerausfinden, welche Einheiten maschinell wirken und welche schon menschlich.
2. Menschliche Sätze in Ruhe lassenSie genau so zurückgeben, wie sie geschrieben wurden, Wort für Wort.
3. Die markierten umschreibenStruktur und Rhythmus ändern, Aussagen, Zahlen, Zitate und Begriffe beibehalten.
4. Im Kontext neu bewertenDie neuen Sätze im vollständigen Absatz prüfen, da Nachbarn die Werte beeinflussen.
5. Bei Bedarf wiederholenJeden noch markierten Satz in einem zweiten Durchgang bearbeiten.

Mehrere Detektoren zusammenführen

Verschiedene Detektoren nutzen unterschiedliche Trainingsdaten, Schwellenwerte und Analyseeinheiten, daher sind sie sich beim selben Satz oft uneinig (die Gründe behandeln wir in Warum KI-Detektoren sich widersprechen). Sie zu kombinieren wirft eine Designfrage auf, die der Frage von Satz zu Dokument entspricht: Gilt ein Satz als markiert, wenn irgendein Detektor ihn markiert, oder nur, wenn die meisten es tun?

Die Studie von Liang et al. zeigt, wie viel diese Wahl ausmacht. Bei sieben Detektoren und von Menschen geschriebenen TOEFL-Aufsätzen stellten die Autoren fest, dass 97,8 % von mindestens einem Detektor markiert wurden, aber nur 19,8 % von allen sieben (Liang et al., Patterns 2023).

• Von mindestens einem Detektor markiert97,8 %
• Durchschnitt über alle Detektoren61,3 %
• Von allen sieben markiert19,8 %

Quelle: Liang et al., „GPT detectors are biased against non-native English writers“, Patterns 2023

Dieselben Aufsätze, dieselben Detektoren, drei sehr unterschiedliche Zahlen. Eine strenge Regel „irgendein Detektor“ ist vorsichtig, was übersehenen KI-Text angeht, markiert hier aber fast jeden menschlichen Aufsatz. Eine Regel „einstimmig“ ist freundlicher zu menschlichen Autoren, übersieht aber mehr. Keine ist universell richtig; entscheidend ist zu wissen, welche Regel ein Bericht verwendet, und ihn entsprechend zu lesen. Für Schreibende ergibt die Prüfung eines Entwurfs mit mehreren Detektoren ein ehrlicheres Bild als das Vertrauen in einen einzelnen Wert, weil sie zeigt, wo Tools übereinstimmen und wo eine Markierung wahrscheinlich Rauschen ist.

Wie Academic Humanizer die Bewertung auf Satzebene nutzt

Der Humanizer von Academic Humanizer baut auf dieser Logik der Satzebene auf. Er durchsucht Ihren Entwurf nach Sätzen, die KI-Detektoren markieren, schreibt nur diese um und gibt Sätze, die bereits als menschlich gelesen werden, genau so zurück, wie Sie sie geschrieben haben. Wird nichts markiert, entspricht die Ausgabe der Eingabe, und es werden keine Credits berechnet. Der KI-Erkennungsbericht stellt jeden markierten Satz seiner Neufassung gegenüber und vergleicht Entwurf und Ausgabe mit demselben Maßstab, dem Anteil der als menschlich gelesenen Sätze, wobei die Ergebnisse gegen Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling und Originality.ai geprüft werden. Sind noch einige Sätze markiert, sagt der Bericht das, und Sie können diese Passagen erneut bearbeiten lassen.