La détection IA marche-t-elle en français ? Notre feuille de route

Hors de l'anglais, la détection d'IA est plus inégale : la détection d'écriture IA de Turnitin couvre l'anglais, l'espagnol, le japonais et l'arabe, et la plupart des détecteurs ont d'abord été conçus pour l'anglais. Le Humanizer accepte aujourd'hui des textes en anglais. Le coréen, l'espagnol, le chinois, le japonais et le français sont en préparation, et le guide de saisie de l'application les indique déjà comme « bientôt disponibles ». Le site Academic Humanizer et ce blog existent déjà en 10 langues.

Nous n'annonçons pas de dates pour les nouvelles langues de saisie, et cet article explique pourquoi. Bien humaniser un texte dans une langue n'est pas une affaire de traduction. Tout dépend du comportement des détecteurs dans cette langue, de la façon dont le texte est découpé en unités et de ce qu'on y considère comme une bonne prose académique.

Où en est la prise en charge des langues

L'anglais représente une large part de la publication scientifique, et c'est aussi la langue autour de laquelle la plupart des détecteurs d'IA ont été conçus. Beaucoup de chercheurs qui publient en anglais l'écrivent comme deuxième ou troisième langue : la saisie en anglais sert donc déjà une communauté d'auteurs multilingue.

Pourquoi l'humanisation multilingue est plus difficile qu'il n'y paraît

Un humanizer qui travaille phrase par phrase, comme Humanizer, doit accomplir trois tâches dans chaque langue : découper correctement le brouillon en phrases, repérer celles que les détecteurs signalent, et ne réécrire que celles-ci dans un registre adapté à la discipline. Chaque étape se complique hors de l'anglais.

1. Les détecteurs ont surtout été conçus pour l'anglais

La plupart des détecteurs d'IA courants ont été développés et testés principalement sur des textes anglais. Leur comportement dans d'autres langues est moins étudié, et la recherche a déjà montré qu'ils peuvent mal juger une écriture qui s'écarte des schémas de leur entraînement. Des travaux sur l'anglais de locuteurs non natifs ont montré que les détecteurs le classaient comme généré par IA bien plus souvent que les textes de locuteurs natifs, surtout parce qu'une formulation plus simple et plus prévisible leur paraît mécanique. Nous présentons cette étude dans Les détecteurs GPT sont biaisés contre les auteurs non natifs.

Si la détection est déjà inégale à l'intérieur de l'anglais, on peut raisonnablement s'attendre à davantage d'écarts d'une langue à l'autre. Avant d'ouvrir une nouvelle langue de saisie, nous devons savoir quels détecteurs la gèrent, sur quels points ils divergent et à quoi ressemble un faux positif dans cette langue.

2. Le texte n'est pas découpé de la même façon

Les détecteurs et les modèles de langage ne lisent pas des mots. Ils lisent des tokens, c'est-à-dire des fragments de texte présents dans le vocabulaire du modèle. En anglais, les mots courants forment souvent un seul token. Dans les langues riches en terminaisons, ou sans espaces entre les mots, la même idée peut être coupée en fragments plus nombreux et plus petits.

The results were significant / 결과가 유의미했다

À titre d'illustration uniquement. Vert : un fragment familier correspondant à un mot entier. Rouge : un mot découpé en morceaux plus petits. Le découpage réel dépend du vocabulaire de chaque modèle.

Cela compte pour deux raisons. Les détecteurs statistiques évaluent la prévisibilité de chaque token : un autre découpage modifie donc le signal qu'ils perçoivent. Et la segmentation en phrases varie elle aussi : le chinois et le japonais utilisent une autre ponctuation finale et pas d'espaces, tandis que le coréen et le japonais emploient des terminaisons de phrase qui portent la politesse et le registre. Un humanizer qui segmente mal les phrases réécrira les mauvais passages.

3. Le registre académique change selon la langue

« Avoir l'air humain » n'est pas le même objectif dans toutes les langues. La bonne prose académique suit des conventions différentes :

• En coréen, l'écriture scientifique emploie généralement la terminaison déclarative neutre et un ton formel et impersonnel.
• En japonais, les articles adoptent le plus souvent le style écrit formel plutôt que le style poli de l'oral, et ce choix doit rester cohérent dans tout le texte.
• En espagnol et en français, la prose académique privilégie souvent des phrases plus longues et des tournures impersonnelles qui paraîtraient verbeuses en anglais.
• En chinois, l'écriture académique possède ses propres connecteurs formels et expressions figées, et leur abus est un indice connu de texte stéréotypé.

Une réécriture qui transplante le style naturel de l'anglais dans une autre langue décevrait les lecteurs, et sans doute aussi les détecteurs. Chaque langue a besoin de sa propre idée de ce qu'est une phrase savante bien construite, ainsi que d'une attention particulière à la terminologie du domaine, qui mêle souvent termes locaux et emprunts à l'anglais.

Turnitin et GPTZero détectent-ils l'IA dans d'autres langues ?

Certains, oui, pour un nombre limité de langues. Le guide du rapport d'écriture IA de Turnitin indique que l'anglais, l'espagnol, le japonais et l'arabe sont pris en charge, et un fichier dans une autre langue n'obtient pas de rapport d'écriture IA. Ce n'est pas la même chose qu'un résultat négatif. La détection par Turnitin des textes paraphrasés ou modifiés par des outils de contournement ne fonctionne qu'en anglais.

La FAQ de GPTZero indique que son modèle prend en charge l'anglais, l'espagnol, le français, l'allemand et d'autres langues, et Copyleaks dit en couvrir plus de 30. Ce sont des déclarations des éditeurs. Les tests indépendants hors de l'anglais sont bien plus rares qu'en anglais.

Si vous écrivez dans une autre langue, trois points en découlent :

• Vérifiez si le détecteur qu'utilise votre établissement ou votre revue, qu'il s'agisse de Turnitin, de Compilatio ou d'un autre, prend en charge votre langue.
• Attendez-vous à ce que les scores dans une langue nouvellement prise en charge reposent sur moins de tests que les scores en anglais.
• Méfiez-vous de la traduction. Dans une étude de 2023 portant sur 14 outils, un texte humain traduit automatiquement vers l'anglais était correctement classé environ 20 points moins souvent qu'un texte écrit directement en anglais (voir ce qu'a montré cette étude).

Ce que nous vérifierons avant d'activer une langue

1. Segmentation en phrasesLes brouillons dans cette langue doivent être découpés en phrases comme un lecteur le ferait.
2. Couverture des détecteursNous devons savoir comment les détecteurs de référence se comportent dans cette langue.
3. Qualité du registreLes réécritures doivent se lire comme de la prose académique formelle dans cette langue, et non comme de l'anglais traduit.
4. Sens et terminologieLes chiffres, les citations et la terminologie du domaine doivent survivre à la réécriture.

Une langue ne passe de « bientôt disponible » à « disponible » qu'une fois ces vérifications réussies. C'est aussi pour cela que nous ne promettons pas de dates : le travail est terminé quand il est bien fait.

Que faire en attendant

Si vous écrivez en anglais comme langue additionnelle, le Humanizer vous sert dès aujourd'hui. Votre brouillon est analysé phrase par phrase, seules les phrases signalées sont réécrites, et le reste demeure tel que vous l'avez écrit. Pour les auteurs dont l'anglais simple est mal interprété par les détecteurs, c'est souvent le réglage le plus utile. Notre étude de cas d'un chercheur dont l'anglais n'est pas la langue maternelle examine cette situation en détail.

Si votre manuscrit est rédigé dans une autre langue, attendez la prise en charge native plutôt que de le traduire en anglais puis de le retraduire. Un aller-retour par la traduction a tendance à aplatir le registre que vous cherchez à préserver. Et quelle que soit votre langue d'écriture, consultez la politique de votre établissement ou de la revue visée en matière d'IA avant de soumettre un travail rédigé avec son aide.

Questions fréquentes

Puis-je déjà humaniser un texte coréen avec Academic Humanizer ?

Pas encore. La saisie se fait uniquement en anglais pour le moment. Le coréen fait partie des cinq langues bientôt disponibles, avec l'espagnol, le chinois, le japonais et le français.

Quand les nouvelles langues de saisie seront-elles lancées ?

Nous n'avons pas annoncé de dates. Chaque langue sera mise en service une fois les vérifications ci-dessus réussies.

Le site est-il disponible dans ma langue ?

Le site et le blog sont disponibles en anglais, coréen, japonais, chinois simplifié, espagnol, français, allemand, hindi, italien et portugais.

Pourquoi les détecteurs d'IA sont-ils moins fiables sur les textes non anglais ?

La plupart ont été développés et testés principalement sur l'anglais. Une tokenisation différente et d'autres conventions d'écriture modifient les signaux sur lesquels ils s'appuient. Pour le contexte, consultez comment fonctionnent les détecteurs d'IA.

Vers davantage de langues

Academic Humanizer existe pour que les idées des chercheurs ne soient pas prises à tort pour du texte machine. Ce problème ne s'arrête pas à l'anglais, et le Humanizer non plus. Pour l'instant, si votre brouillon est en anglais, vous pouvez le soumettre dès aujourd'hui et voir, phrase par phrase, ce que repèrent les détecteurs.