Les détecteurs d'IA pénalisent-ils l'anglais non natif ? Un vrai test

Les détecteurs d'IA prennent-ils l'anglais des non-natifs pour de l'IA ? La recherche publiée dit que c'est souvent le cas, mais dans notre test sur le paragraphe de discussion écrit par un vrai chercheur, ils ne l'ont pas fait. Les tournures stéréotypées, un éventail limité de connecteurs et des structures de phrase de manuel sont précisément ce que les détecteurs sont soupçonnés de pénaliser : nous avons donc testé un paragraphe écrit à la main par un chercheur non natif en science des matériaux, exactement le type de texte qui suscite cette inquiétude.

Le résultat n'a rien de spectaculaire, et c'est tout l'intérêt. Quatre modèles de détection sur cinq l'ont lu comme humain, aucune phrase n'a été signalée, Humanizer v2 n'a rien modifié et l'analyse n'a rien coûté.

Pourquoi ce texte semblait exposé

Lisez-le comme pourrait le faire un détecteur. Les phrases commencent par des formules toutes faites : "In this study, we found that", "It is considered that", "Therefore, it is important to", "These results suggest that". Le vocabulaire est restreint et répétitif. La grammaire porte la marque de quelqu'un qui a appris l'anglais comme langue seconde : "The reason of this improvement", "the tensile strength was decreased", "for obtaining the best mechanical properties".

Les travaux qui fondent cette inquiétude sont bien réels. Liang et ses collègues de Stanford ont soumis à sept détecteurs GPT courants des rédactions du TOEFL écrites par des locuteurs non natifs, et ont mesuré un taux moyen de faux positifs de 61,22 %. Parmi ces rédactions, 97,80 % ont été signalées comme générées par IA par au moins un détecteur. Nous résumons l'article dans Les détecteurs GPT sont biaisés contre les auteurs non natifs.

Une prédiction raisonnable aurait donc été qu'au moins quelques phrases seraient signalées. Ce n'est pas ce qui s'est passé.

Ce qu'ont dit les détecteurs

Le verdict du rapport sur le brouillon était « écrit par un humain ». Quatre des cinq modèles de détection ont voté humain et un a voté IA. Au niveau des phrases, les neuf ont été lues comme humaines ; aucune n'a été signalée et aucune n'était incertaine.

In this study, we found that the addition of 2 wt% graphene oxide improved the tensile strength of the epoxy composite by 27% compared to the neat epoxy. This result is consistent with the previous studies which reported similar improvement in the range of 20-35%. The reason of this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength was decreased. It is considered that the agglomeration of graphene oxide sheets occurred at higher content, and these agglomerates acted as stress concentration points. This tendency was also confirmed by the SEM images, which showed the clusters of sheets on the fracture surface. Therefore, it is important to optimize the filler content for obtaining the best mechanical properties. In addition, the glass transition temperature was slightly increased from 142 to 147 degrees, which means the mobility of polymer chains was restricted by the graphene oxide. These results suggest that the graphene oxide/epoxy composite can be a promising material for the lightweight structural applications.

Analyse réelle issue de notre test. Les neuf phrases sont lues comme humaines.

• Paragraphe d'origine1 sur 5
• Texte produit par Humanizer v2 (inchangé)1 sur 5

Source : analyse Humanizer v2 en production. Même texte, mêmes votes.

Ce qu'a fait Humanizer v2 : rien, volontairement

Humanizer v2 ne réécrit que les phrases signalées par les détecteurs. Sans aucune phrase signalée, il n'y avait rien à réécrire : le texte rendu est le texte saisi, au caractère près.

1. Recherche de signaux d'IANeuf phrases analysées ; aucune signalée, les neuf lues comme humaines.
2. Réécriture des phrases signaléesRien à réécrire, donc aucune phrase modifiée.
3. Nouvelle vérification par les détecteursMême texte, même résultat : écrit par un humain, quatre modèles sur cinq votant humain.
4. Enregistrement du résultatUne analyse sans modification coûte 0 crédit, alors que 1 235 caractères en auraient sinon coûté 3.

C'est le comportement qui compte le plus pour les auteurs non natifs. Un outil qui paraphrase tout aurait remplacé les phrases de cet auteur par celles de quelqu'un d'autre, introduit de nouvelles formulations auxquelles les détecteurs pourraient réagir, et facturé le tout. Laisser l'écriture humaine intacte n'est pas une fonctionnalité manquante. C'est un choix de conception.

Lire ce résultat avec prudence

Un seul paragraphe de test ne renverse pas une étude publiée, et il ne faut pas le lire comme « les détecteurs acceptent désormais l'écriture des non-natifs ». Trois mises en garde :

• Le désaccord était réel. Un modèle sur cinq a voté IA. Si vous aviez vérifié avec un seul outil se comportant comme celui-là, vous auriez obtenu un verdict IA pour un texte écrit par un humain. C'est exactement le phénomène documenté par Liang et ses collègues, et c'est pourquoi nous comparons plusieurs modèles au lieu de nous fier à un seul. Voir pourquoi les détecteurs d'IA ne sont pas d'accord.
• Les discussions contiennent des éléments précis. Ce paragraphe regorge de valeurs concrètes (2 wt%, 27 %, 20-35 %, 3 wt%, de 142 à 147 degrés) et de preuves nommées (images MEB, surface de rupture). Un texte lié à des résultats particuliers peut se lire autrement qu'une courte rédaction générale comme celles de l'étude sur le TOEFL.
• Votre texte n'est pas ce texte. Un paragraphe aux formulations plus génériques pourrait être signalé. Le rapport vous l'indique phrase par phrase, ce qui est plus utile qu'un score unique.

La grammaire est un autre travail

Passer pour humain n'équivaut pas à être prêt pour une revue. Le paragraphe contient encore des erreurs qu'un correcteur relèverait, et un humanizer n'est pas l'outil pour les corriger. Son rôle est de modifier les phrases que les détecteurs signalent ; il ne touche pas aux phrases déjà lues comme humaines, erreurs comprises.

Avant

The reason of this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength was decreased. In addition, the glass transition temperature was slightly increased from 142 to 147 degrees, which means the mobility of polymer chains was restricted by the graphene oxide.

Après

The reason for this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength decreased. In addition, the glass transition temperature was slightly increased from 142 to 147 °C, which means the mobility of polymer chains was restricted by the graphene oxide.

La dernière correction suppose que les valeurs sont en degrés Celsius ; seul l'auteur connaît l'unité, que l'original omet. Autres corrections possibles : "the previous studies which reported" (supprimer "the"), "for the lightweight structural applications" (supprimer "the") et "It is considered that", que beaucoup de revues transformeraient en "We attribute this to".

Une remarque pratique. Si vous passez ce paragraphe dans un outil d'IA de correction ou de polissage, la version retouchée pourra être perçue différemment par les détecteurs. Vérifiez-la de nouveau ensuite. Le rapport prévoit un verdict pour ce cas, « écrit par un humain et affiné par IA », afin que vous sachiez où vous en êtes. Notre comparatif entre humanizers, outils de paraphrase et correcteurs grammaticaux explique quel outil fait quoi.

Ce que cela signifie pour les chercheurs non natifs

Si vous rédigez vous-même vos brouillons dans un style formel et codifié, le risque d'un faux signalement est réel mais pas certain, et la bonne réaction est de vérifier, pas de réécrire par précaution. Réécrire un texte humain pour qu'il paraisse « plus humain » peut aggraver les choses.

Academic Humanizer a été conçu dans cet esprit : il analyse votre brouillon, ne réécrit que les phrases signalées par les détecteurs, vous rend vos propres phrases intactes et ne facture rien quand rien ne change. Si vous avez déjà été signalé, notre guide que faire si votre texte est signalé à tort comme écrit par une IA est une bonne lecture pour la suite.