¿Los detectores de IA tienen sesgo? Falsos positivos con no nativos

¿Los detectores de IA tienen sesgo? En la prueba más conocida, sí: produjeron muchos más falsos positivos con textos de personas cuya lengua materna no es el inglés que con textos de hablantes nativos. Ese es el hallazgo central de "GPT detectors are biased against non-native English writers", un estudio de 2023 de Weixin Liang, James Zou y sus colegas de Stanford, publicado en la revista Patterns. Siete detectores populares etiquetaron como generados por IA, de media, el 61 % de los ensayos TOEFL escritos por estudiantes reales, mientras que resolvieron casi a la perfección los ensayos de estudiantes estadounidenses de octavo grado.

Para investigadores y estudiantes internacionales, este artículo es la prueba más clara de que el veredicto de un detector puede reflejar cómo escribes en inglés y no si usaste IA. Así funcionó el estudio, por qué se produce el sesgo y qué ha cambiado desde entonces.

Cómo se diseñó el estudio de Liang et al.

El diseño es sencillo, y eso explica en parte por qué resultó tan convincente. Los autores reunieron dos conjuntos de ensayos escritos íntegramente por personas:

• 91 ensayos TOEFL de hablantes no nativos de inglés, recopilados de un foro educativo chino.
• 88 ensayos de estudiantes estadounidenses de octavo grado, tomados del conjunto de datos Automated Student Assessment Prize de la Hewlett Foundation.

Pasaron cada ensayo por siete detectores muy usados en ese momento: Originality.AI, Quill.org, Sapling, el clasificador de OpenAI, Crossplag, GPTZero y ZeroGPT. Como todos los ensayos estaban escritos por personas, cualquier veredicto de IA era un falso positivo.

Los resultados: el 61 % de los ensayos TOEFL, marcados

Los detectores fueron casi perfectos con los ensayos estadounidenses. Con los ensayos TOEFL, la tasa media de falsos positivos de las siete herramientas fue del 61,22 %. Peor aún, los errores no se repartían al azar.

Dieciocho de los 91 ensayos fueron etiquetados como generados por IA por todos y cada uno de los detectores. Y 89 de 91 fueron marcados por al menos uno. Si un docente o un editor pasa el ensayo de alguien que escribe en una segunda lengua por la herramienta que tenga a mano, estas cifras apuntan a una alta probabilidad de al menos una falsa alarma.

Por qué ocurre: perplejidad y vocabulario restringido

Muchos detectores se apoyan en la perplejidad, una medida de cuánto le sorprende un texto a un modelo de lenguaje. La salida de una máquina tiende a tener una perplejidad baja porque los modelos eligen palabras probables. El problema es que la escritura humana también puede tener una perplejidad baja por razones perfectamente inocentes.

Quien escribe en una segunda lengua suele usar un vocabulario más reducido y seguro y estructuras de frase más comunes. No es un defecto de su pensamiento; es como escribe la mayoría de la gente en un idioma aprendido más tarde. Pero para un modelo de lenguaje esas elecciones son previsibles, y lo previsible parece hecho por una máquina. Los autores midieron directamente la perplejidad y encontraron que los ensayos TOEFL tenían una perplejidad significativamente más baja que los ensayos estadounidenses.

• Texto generado por máquina
• Escritura humana en una segunda lengua

Ejemplo ilustrativo del mecanismo, no datos del artículo

El experimento de enriquecimiento del vocabulario

Para comprobar si el vocabulario era realmente la causa del sesgo, los autores hicieron el experimento en ambas direcciones usando ChatGPT como editor.

• Enriquecer los ensayos de hablantes no nativos. Pidieron a ChatGPT que mejorara la elección de palabras de los ensayos TOEFL para que sonaran más a un hablante nativo. La tasa media de falsos positivos bajó del 61,22 % al 11,77 %, y solo 1 de 91 ensayos siguió marcado por los siete detectores.
• Simplificar los ensayos de hablantes nativos. Pidieron a ChatGPT que simplificara la elección de palabras de los ensayos estadounidenses para imitar la escritura de hablantes no nativos. La clasificación errónea subió de una media del 5,19 % al 56,65 %.

• Ensayos TOEFL, originales61,22 %
• Ensayos TOEFL, vocabulario enriquecido11,77 %
• Ensayos de 8.º grado de EE. UU., originales5,19 %
• Ensayos de 8.º grado de EE. UU., vocabulario simplificado56,65 %

Fuente: Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

El contenido de cada ensayo se mantuvo igual. Solo cambió el vocabulario, y los veredictos oscilaron unos cincuenta puntos porcentuales en cada dirección. Los autores también mostraron la otra cara: pedir a ChatGPT que reescribiera sus propios ensayos universitarios y resúmenes científicos con un lenguaje más literario redujo mucho la detección. En los resúmenes, la detección cayó de hasta el 68 % a hasta el 28 %. Su conclusión fue que los detectores, en su forma actual, pueden penalizar a quienes tienen una expresión lingüística más limitada y a la vez ser fáciles de esquivar para usuarios decididos.

Qué significa para investigadores internacionales

El inglés científico ya empuja a todo el mundo hacia una redacción estándar. Si además se escribe en una segunda lengua, la prosa de muchos investigadores internacionales cae de lleno en la zona que los detectores asocian con las máquinas. De ahí se desprenden algunas ideas prácticas, y nuestra guía sobre cómo evitar el detector de IA en la escritura académica las convierte en pasos de revisión.

• Una marca no es prueba de mala conducta. Los autores desaconsejaron expresamente usar detectores en contextos de evaluación o educativos. Si te marcan, nuestra guía sobre qué hacer si te marcan falsamente como IA explica cómo responder.
• Mantén visible tu proceso. Los borradores, las notas y el historial de versiones son la mejor respuesta ante una puntuación discutida. Consulta cómo el historial de borradores respalda la integridad académica.
• Formal no es lo mismo que hecho por máquina. El mismo mecanismo explica por qué la prosa formal puede parecer escrita por IA incluso en hablantes nativos.

Límites del estudio y trabajos posteriores

El estudio tiene límites reales. Las muestras son modestas, 91 y 88 ensayos, y son ensayos de estudiantes, no artículos de investigación. Los detectores se probaron a principios de 2023, y todos los proveedores han actualizado sus modelos desde entonces. OpenAI retiró su clasificador ese mismo año. Así que los porcentajes exactos describen esas herramientas en ese momento, no las versiones actuales.

La investigación posterior ofrece un panorama mixto. Los autores de Binoculars, un detector zero-shot presentado en ICML 2024, probaron ensayos de hablantes no nativos en versión original y con la gramática corregida e informaron de una precisión del 99,67 % en ambos casos, lo que sugiere que algunos métodos son menos sensibles a este efecto. En cambio, los autores de Fast-DetectGPT señalaron las tasas más altas de falsos positivos en textos de hablantes no nativos como un riesgo para los detectores de su tipo. Comparamos estos métodos en Fast-DetectGPT y Binoculars explicados. La tensión de fondo no ha desaparecido: cualquier detector que premie las elecciones de palabras sorprendentes tendrá más dificultades para juzgar un inglés sencillo y cuidadoso.

Cómo lo aborda Academic Humanizer

Academic Humanizer se creó para investigadores cuyas propias ideas se etiquetan erróneamente como texto de máquina, incluidos muchos que escriben en inglés como segunda lengua. Revisa un borrador frase por frase, reescribe solo las frases que marcan los detectores y mantiene intactas tus afirmaciones, cifras, citas y terminología del área; las frases que ya se leen como humanas quedan exactamente como las escribiste. El informe de detección de IA muestra cada cambio lado a lado para que apruebes la redacción final, y es buena práctica confirmar a la vez la política de IA de tu revista o institución.