Quelles phrases sont signalées comme IA ? Détection phrase par phrase

Les détecteurs d'IA signalent une phrase quand elle paraît plus prévisible que ce qu'écrivent habituellement les humains, et les suspects habituels sont les ouvertures génériques, les annonces de plan et les phrases de synthèse. La détection d'IA phrase par phrase attribue un score à chaque phrase (ou à une courte fenêtre de phrases) séparément, puis combine ces scores en un résultat pour le document. La détection au niveau du document, elle, note le texte entier d'un seul coup. Comme la plupart des brouillons réels sont mixtes, la façon dont un outil agrège quelques phrases signalées peut décider du verdict sur l'ensemble.

Si vous voulez savoir quelles phrases de votre brouillon sont signalées comme IA, il vous faut une vue phrase par phrase. Cet article explique le fonctionnement des deux approches, pourquoi une poignée de phrases peut faire basculer un document, pourquoi ne réécrire que ces phrases est plus sûr que tout réécrire, et ce que change la combinaison de plusieurs détecteurs.

Deux façons de noter un texte

Un détecteur au niveau du document lit le passage entier et renvoie un seul chiffre, souvent présenté comme la probabilité que le texte soit généré par IA. Il dispose de beaucoup d'éléments, si bien que l'estimation est relativement stable. L'inconvénient est qu'il ne peut pas vous dire d'où vient le signal.

Un détecteur phrase par phrase découpe le texte en unités et note chacune d'elles. Beaucoup d'outils surlignent ensuite les unités signalées et indiquent la part du texte qu'elles représentent. C'est plus proche de la façon dont on écrit réellement : on rédige soi-même certains paragraphes, on demande l'aide d'un modèle pour d'autres, puis on retravaille l'ensemble. La recherche a suivi. SeqXGPT, présenté à EMNLP 2023, a constitué un jeu de données de documents mêlant phrases humaines et phrases modifiées par IA, et a montré que les méthodes antérieures peinaient au niveau de la phrase, tandis que son approche fonctionnait aussi bien au niveau de la phrase que du document (Wang et al., EMNLP 2023).

We expected attendance to fall after the fee change, and in two of the three districts it did. These findings highlight the important role that economic factors play in shaping educational outcomes. The third district is the puzzle: attendance rose by four points, and the head teachers we interviewed credited a bus route that opened the same term. This suggests that transport access may moderate the effect of fees. Overall, the results underscore the need for a comprehensive approach to policy design.

Deux phrases sur cinq signalées, une à la limite. Un score global fondrait tout cela en un seul chiffre.

Remarquez quelles phrases sont signalées dans l'exemple. Ce sont les phrases de synthèse génériques, celles qui pourraient conclure presque n'importe quel article. Les phrases qui mentionnent des lieux, des chiffres et une cause précise se lisent comme humaines. Ce schéma est courant, et il est utile : il vous indique exactement où porter l'effort de révision.

Le problème du bruit à l'échelle d'une phrase

Les scores par phrase sont informatifs, mais chacun pris isolément reste incertain. Une phrase compte peu de tokens : toute estimation de prévisibilité repose donc sur peu d'éléments. Beaucoup d'outils lissent cet effet en notant des fenêtres qui se chevauchent, si bien que l'étiquette d'une phrase dépend en partie de ses voisines.

Turnitin a été transparent sur cet effet. Dans un article sur ses taux de faux positifs, l'entreprise a décrit un taux de faux positifs d'environ 4 % au niveau des phrases, et indiqué que 54 % des phrases faussement signalées se trouvent juste à côté d'un texte réellement écrit par IA (Turnitin). Autrement dit, des phrases humaines proches de phrases signalées ont plus de chances d'être signalées à leur tour.

La lecture pratique : considérez une phrase surlignée isolée comme une invitation à regarder, pas comme une conclusion. Les tendances à l'échelle d'un paragraphe ont plus de sens qu'une ligne prise seule.

Pourquoi quelques phrases peuvent faire basculer le document

Tout outil doit convertir les scores par phrase en un verdict pour le document, et le choix de la règle compte plus que ne l'imaginent la plupart des utilisateurs. Parmi les options courantes : le score moyen des phrases, la part de phrases au-dessus d'un seuil, ou un seuil distinct appliqué à cette part. Avec une règle fondée sur la part, un résumé de 20 phrases dont quatre sont signalées se situe à 20 %, ce qui peut franchir ou non un seuil de signalement. Corrigez-en deux et la part est divisée par deux.

Les regroupements comptent aussi. Comme les phrases voisines s'influencent dans une notation par fenêtres, trois phrases génériques à la suite peuvent entraîner une quatrième phrase, humaine, au-delà de la ligne. Cassez le regroupement, et la voisine est souvent blanchie d'elle-même. C'est pourquoi un petit nombre de modifications aux bons endroits peut changer le résultat d'un document davantage qu'un grand nombre de modifications réparties uniformément.

Pour les auteurs académiques, les suspects habituels sont prévisibles : les phrases d'introduction du contexte, les annonces de plan ("This section discusses") et les synthèses finales. Nous proposons des corrections pour chacune dans comment réviser les phrases qui sonnent comme de l'IA. Les listes de références et les citations sont un cas à part ; voir pourquoi Turnitin signale des références et des citations comme IA.

Pourquoi ne réécrire que les phrases signalées

Si la détection fonctionne phrase par phrase, la révision devrait faire de même. Réécrire tout un document pour corriger quatre phrases a trois coûts.

• Le risque pour le sens croît avec la couverture. Chaque phrase réécrite peut perdre une nuance, un chiffre ou le lien d'une citation. Réécrire 4 phrases offre quatre occasions de dérive ; en réécrire 40 en offre quarante. Voir préserver le sens et les citations.
• Votre voix disparaît. Les phrases qui se lisent comme humaines sont généralement celles qui contiennent vos observations précises. Une réécriture globale les aplatit.
• De nouveaux signalements peuvent apparaître. Un outil de réécriture appliqué partout peut uniformiser des phrases jusque-là sans problème, et faire grimper les scores ailleurs.

1. Noter chaque phraseRepérer les unités qui semblent mécaniques et celles qui se lisent déjà comme humaines.
2. Laisser les phrases humaines intactesLes rendre exactement telles qu'elles ont été écrites, mot pour mot.
3. Réécrire les phrases signaléesChanger la structure et le rythme en conservant affirmations, chiffres, citations et termes.
4. Renoter en contexteVérifier les nouvelles phrases au sein du paragraphe complet, puisque les voisines influencent les scores.
5. Recommencer si nécessaireRepasser sur toute phrase encore signalée.

Agréger plusieurs détecteurs

Les détecteurs utilisent des données d'entraînement, des seuils et des unités d'analyse différents : ils sont donc souvent en désaccord sur une même phrase (nous en expliquons les raisons dans pourquoi les détecteurs d'IA ne sont pas d'accord). Les combiner soulève une question de conception qui fait écho à celle du passage de la phrase au document : une phrase est-elle signalée si un seul détecteur la signale, ou seulement si la majorité le fait ?

L'étude de Liang et al. montre à quel point ce choix compte. En soumettant à sept détecteurs des rédactions du TOEFL écrites par des humains, les auteurs ont constaté que 97,8 % étaient signalées par au moins un détecteur, contre 19,8 % par les sept (Liang et al., Patterns 2023).

• Signalées par au moins un détecteur97,8 %
• Moyenne des détecteurs61,3 %
• Signalées par les sept19,8 %

Source : Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

Mêmes rédactions, mêmes détecteurs, trois chiffres très différents. Une règle stricte du type « au moins un détecteur » limite le risque de laisser passer un texte IA, mais signale ici presque toutes les rédactions humaines. Une règle « à l'unanimité » est plus clémente envers les auteurs humains, mais laisse passer davantage. Aucune n'est juste en toutes circonstances ; l'essentiel est de savoir quelle règle utilise un rapport et de le lire en conséquence. Pour un auteur, vérifier un brouillon avec plusieurs détecteurs donne une image plus honnête que de se fier à un seul score, car on voit où les outils s'accordent et où un signalement relève probablement du bruit.

Comment Academic Humanizer utilise la notation phrase par phrase

Le Humanizer d'Academic Humanizer repose sur cette logique phrase par phrase. Il analyse votre brouillon pour repérer les phrases signalées par les détecteurs d'IA, ne réécrit que celles-ci et vous rend exactement telles que vous les avez écrites les phrases déjà lues comme humaines. Si rien n'est signalé, le texte rendu est identique au texte saisi et aucun crédit n'est débité. Le rapport de détection IA associe chaque phrase signalée à sa réécriture et compare le brouillon et le résultat selon la même mesure, la part de phrases lues comme humaines, avec des résultats vérifiés auprès de Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling et Originality.ai. Si quelques phrases restent signalées, le rapport l'indique et vous pouvez relancer l'analyse sur ces passages.