Markieren KI-Detektoren Nicht-Muttersprachler? Ein echter Test

Markieren KI-Detektoren englische Texte von Nicht-Muttersprachlern als KI? Laut veröffentlichter Forschung oft, doch in unserem Test mit dem selbst geschriebenen Diskussionsabsatz eines echten Forschers taten sie es nicht. Formelhafte Formulierungen, ein begrenzter Vorrat an Konnektoren und Satzmuster aus dem Lehrbuch sind genau das, was Detektoren angeblich bestrafen. Deshalb haben wir einen Absatz getestet, den ein Forscher aus der Materialwissenschaft mit Englisch als Fremdsprache von Hand geschrieben hat, also genau die Art Text, um die es bei dieser Sorge geht.

Das Ergebnis war unspektakulär, und genau darum geht es. Vier von fünf Detektormodellen lasen den Text als menschlich, kein Satz wurde markiert, Humanizer v2 änderte nichts, und der Durchlauf kostete nichts.

Warum dieser Text gefährdet wirkte

Lesen Sie ihn, wie ein Detektor es tun könnte. Die Sätze beginnen mit Standardrahmen: „In this study, we found that“, „It is considered that“, „Therefore, it is important to“, „These results suggest that“. Der Wortschatz ist schmal und wiederholt sich. Die Grammatik trägt die Spuren von jemandem, der Englisch als Zweitsprache gelernt hat: „The reason of this improvement“, „the tensile strength was decreased“, „for obtaining the best mechanical properties“.

Die Forschung hinter dieser Sorge ist real. Liang und Kollegen in Stanford ließen TOEFL-Aufsätze von Nicht-Muttersprachlern durch sieben verbreitete GPT-Detektoren laufen und fanden eine durchschnittliche Falsch-positiv-Rate von 61,22 %. Von diesen Aufsätzen wurden 97,80 % von mindestens einem Detektor als KI-generiert markiert. Wir fassen die Studie in GPT-Detektoren benachteiligen Nicht-Muttersprachler zusammen.

Eine faire Vorhersage wären also zumindest einige markierte Sätze gewesen. So kam es aber nicht.

Was die Detektoren sagten

Das Urteil im Bericht lautete für den Entwurf menschlich geschrieben. Vier der fünf Detektormodelle stimmten für menschlich, eines für KI. Auf Satzebene wurden alle neun Sätze als menschlich gelesen; keiner war markiert, keiner unklar.

In this study, we found that the addition of 2 wt% graphene oxide improved the tensile strength of the epoxy composite by 27% compared to the neat epoxy. This result is consistent with the previous studies which reported similar improvement in the range of 20-35%. The reason of this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength was decreased. It is considered that the agglomeration of graphene oxide sheets occurred at higher content, and these agglomerates acted as stress concentration points. This tendency was also confirmed by the SEM images, which showed the clusters of sheets on the fracture surface. Therefore, it is important to optimize the filler content for obtaining the best mechanical properties. In addition, the glass transition temperature was slightly increased from 142 to 147 degrees, which means the mobility of polymer chains was restricted by the graphene oxide. These results suggest that the graphene oxide/epoxy composite can be a promising material for the lightweight structural applications.

Echter Scan aus unserem Testdurchlauf. Alle neun Sätze als menschlich gelesen.

• Originalabsatz1 von 5
• Ausgabe von Humanizer v2 (unverändert)1 von 5

Quelle: Produktivdurchlauf mit Humanizer v2. Gleicher Text, gleiche Stimmen.

Was Humanizer v2 getan hat: absichtlich nichts

Humanizer v2 schreibt nur Sätze um, die Detektoren markieren. Bei null markierten Sätzen gab es nichts umzuschreiben, also ist die Ausgabe Zeichen für Zeichen die Eingabe.

1. Suche nach KI-SignalenNeun Sätze geprüft; keiner markiert, alle neun als menschlich gelesen.
2. Umschreiben markierter SätzeNichts umzuschreiben, also null geänderte Sätze.
3. Erneute Prüfung mit KI-DetektorenGleicher Text, gleiches Ergebnis: menschlich geschrieben, vier von fünf Modellen stimmen für menschlich.
4. Speichern des ErgebnissesEin Durchlauf ohne Änderungen kostet 0 Credits, obwohl 1.235 Zeichen sonst 3 wären.

Genau dieses Verhalten ist für Nicht-Muttersprachler am wichtigsten. Ein Tool, das alles paraphrasiert, hätte die Sätze dieses Autors durch fremde ersetzt, neue Formulierungen eingeführt, auf die Detektoren reagieren könnten, und dafür auch noch Geld verlangt. Menschliches Schreiben in Ruhe zu lassen ist keine fehlende Funktion. Es ist das Konzept.

Dieses Ergebnis richtig lesen

Ein einzelner Testabsatz widerlegt keine veröffentlichte Studie und sollte nicht als „Detektoren haben jetzt kein Problem mehr mit Nicht-Muttersprachlern“ gelesen werden. Drei Vorbehalte:

• Die Uneinigkeit war real. Eines von fünf Modellen stimmte für KI. Hätten Sie mit einem einzigen Tool geprüft, das sich so verhält, hätten Sie ein KI-Urteil für einen von einem Menschen geschriebenen Text gesehen. Genau dieses Muster haben Liang und Kollegen dokumentiert, und deshalb vergleichen wir mehrere Modelle, statt einem zu vertrauen. Siehe Warum KI-Detektoren sich widersprechen.
• Diskussionsteile enthalten Konkretes. Dieser Absatz ist voller konkreter Werte (2 wt%, 27 %, 20 bis 35 %, 3 wt%, 142 bis 147 Grad) und benannter Belege (REM-Aufnahmen, Bruchfläche). Text, der an bestimmte Ergebnisse gebunden ist, liest sich womöglich anders als ein kurzer allgemeiner Aufsatz wie in der TOEFL-Studie.
• Ihr Text ist nicht dieser Text. Ein Absatz mit generischeren Formulierungen könnte markiert werden. Der Bericht zeigt es Ihnen Satz für Satz, und das ist nützlicher als ein einzelner Wert.

Grammatik ist eine eigene Aufgabe

Als menschlich durchzugehen heißt nicht, bereit für eine Zeitschrift zu sein. Der Absatz enthält noch Fehler, die ein Lektorat anstreichen würde, und ein Humanizer ist nicht das richtige Werkzeug, um sie zu beheben. Seine Aufgabe ist es, Sätze zu ändern, die Detektoren markieren; Sätze, die bereits als menschlich gelesen werden, rührt er nicht an, auch nicht ihre Fehler.

Vorher

The reason of this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength was decreased. In addition, the glass transition temperature was slightly increased from 142 to 147 degrees, which means the mobility of polymer chains was restricted by the graphene oxide.

Nachher

The reason for this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength decreased. In addition, the glass transition temperature was slightly increased from 142 to 147 °C, which means the mobility of polymer chains was restricted by the graphene oxide.

Die letzte Korrektur setzt voraus, dass die Werte in Grad Celsius angegeben sind; die Einheit kennt nur der Autor, und das Original lässt sie weg. Weitere Kandidaten: „the previous studies which reported“ („the“ streichen), „for the lightweight structural applications“ („the“ streichen) und „It is considered that“, das viele Zeitschriften in „We attribute this to“ umwandeln würden.

Ein praktischer Hinweis: Wenn Sie diesen Absatz durch ein KI-Tool für Grammatik oder sprachlichen Feinschliff schicken, kann die bearbeitete Fassung für Detektoren anders wirken als Ihr Original. Prüfen Sie sie danach erneut. Der Bericht hat für diesen Fall ein eigenes Urteil, menschlich geschrieben & KI-überarbeitet, sodass Sie sehen, wo Sie stehen. Unser Vergleich von Humanizern, Paraphrasierern und Grammatikprüfern erklärt, welches Tool welche Aufgabe erfüllt.

Was das für Forschende mit Englisch als Fremdsprache bedeutet

Wenn Sie Ihre Entwürfe selbst in einem formellen, formelhaften Stil schreiben, ist das Risiko einer Fehlmarkierung real, aber nicht sicher, und die richtige Reaktion ist zu prüfen, nicht vorsorglich umzuschreiben. Menschlichen Text so umzuschreiben, dass er „menschlicher“ wirkt, kann die Lage verschlimmern.

Academic Humanizer wurde genau dafür gebaut: Er prüft Ihren Entwurf, schreibt nur die Sätze um, die Detektoren markieren, gibt Ihre eigenen Sätze unverändert zurück und berechnet nichts, wenn sich nichts ändert. Wenn Sie bereits markiert wurden, lesen Sie als Nächstes unseren Leitfaden Was tun, wenn Ihr Text fälschlich als KI markiert wird.