Artículos sobre detección de IA: 11 estudios clave para leer

Si quieres entender la detección de texto de IA en lugar de limitarte a confiar en una puntuación, una docena de artículos hacen casi todo el trabajo. Explican cómo miden el texto los detectores, cómo resisten, a quién fallan y con qué facilidad una reescritura superficial cambia sus veredictos. Esta lista de lectura recoge once de ellos, de 2019 a 2024, más un estudio escrito para docentes.

Cada entrada incluye el título completo, los autores, el lugar de publicación, un hallazgo verificado y un enlace al artículo. Cuando tenemos una explicación más extensa, también la enlazamos.

1. 2019: primeras herramientasGLTR y el detector de salida de GPT-2 muestran dos enfoques que todavía dominan: estadísticas de tokens y clasificadores entrenados.
2. 2023: zero-shot y marcas de aguaDetectGPT y las marcas de agua para LLM proponen detectar sin un clasificador entrenado.
3. 2023: primeras pruebas de estrésDIPPER demuestra la evasión mediante paráfrasis; Liang et al. demuestran el sesgo contra quienes escriben en una lengua no materna.
4. 2024: detectores más baratos, benchmarks más grandesFast-DetectGPT, Binoculars y Ghostbuster mejoran la detección, mientras RAID y M4 la ponen a prueba a gran escala.

Fundamentos: cómo empezó la detección

1. GLTR: Statistical Detection and Visualization of Generated Text

Sebastian Gehrmann, Hendrik Strobelt, Alexander M. Rush · ACL 2019 (System Demonstrations)

GLTR colorea cada palabra según la posición que le asignó un modelo de lenguaje. El texto de máquina tiende a quedarse entre las opciones mejor clasificadas, mientras que las personas eligen con más frecuencia palabras menos esperadas. En un estudio con personas, GLTR elevó la precisión para detectar texto generado del 54 % al 72 % sin entrenamiento previo. Su idea central, que la previsibilidad es una señal, está en la base de la mayoría de los detectores actuales. Artículo

2. Release Strategies and the Social Impacts of Language Models

Irene Solaiman et al. (OpenAI) · Informe, 2019

Este informe sobre el lanzamiento escalonado de GPT-2 describe el clasificador basado en RoBERTa que se convirtió en el muy usado "GPT-2 Output Detector". Los autores indican que detectaba texto del GPT-2 de 1.500 millones de parámetros con aproximadamente un 95 % de precisión. El mismo detector reaparece en evaluaciones posteriores: en RAID superó el 95 % con texto de GPT-2 en cinco dominios, pero rara vez pasó del 60 % con texto de otros modelos. Artículo

Detección zero-shot y marcas de agua

3. DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature

Eric Mitchell, Yoonho Lee, Alexander Khazatsky, Christopher D. Manning, Chelsea Finn · ICML 2023

DetectGPT observa que el texto escrito por un modelo tiende a situarse en un máximo local de la log-probabilidad del modelo: pequeñas perturbaciones lo vuelven menos probable. No necesita datos de entrenamiento, solo las probabilidades del modelo y un modelo de perturbación como T5. Con noticias falsas generadas por GPT-NeoX, elevó el AUROC de 0,81, del mejor método zero-shot anterior, a 0,95. Lee nuestra explicación de DetectGPT. Artículo

4. A Watermark for Large Language Models

John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein · ICML 2023

En lugar de adivinar a partir del estilo, este enfoque inserta una señal en el momento de la generación. Antes de cada palabra se elige una "lista verde" pseudoaleatoria de tokens que se favorece suavemente; después, un detector cuenta los tokens verdes y aplica una prueba estadística con valores p interpretables, sin necesidad del propio modelo. Solo funciona si el proveedor del modelo lo activa. Lee nuestra explicación sobre las marcas de agua. Artículo

Pruebas de estrés: evasión y sesgo

5. Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense

El artículo de DIPPER (ficha de arriba) es el punto de partida de la investigación sobre humanizadores. Un parafraseador de 11.000 millones de parámetros debilitó las marcas de agua, DetectGPT, GPTZero y el clasificador de OpenAI sin perder el sentido. La solución que propone, buscar contenido coincidente entre las generaciones almacenadas por el proveedor, detectó entre el 80 % y el 97 % de las paráfrasis con una tasa de falsos positivos del 1 %. Lee nuestra explicación de DIPPER.

6. GPT detectors are biased against non-native English writers

Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou · Patterns, 2023

Se probaron siete detectores populares con 91 ensayos TOEFL de hablantes no nativos y 88 ensayos de estudiantes estadounidenses de octavo grado. Fueron casi perfectos con los ensayos estadounidenses, pero marcaron como IA más de la mitad de los ensayos TOEFL, con una tasa media de falsos positivos del 61,22 %; 89 de 91 fueron marcados por al menos un detector. Enriquecer el vocabulario de esos mismos ensayos redujo la tasa al 11,77 %. Lee nuestra explicación sobre el sesgo de los detectores. Artículo

2024: detectores más rápidos y benchmarks más difíciles

7. Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text via Conditional Probability Curvature

Guangsheng Bao, Yanbin Zhao, Zhiyang Teng, Linyi Yang, Yue Zhang · ICLR 2024

Fast-DetectGPT sustituye el costoso paso de perturbación de DetectGPT por una medida basada en muestreo de la curvatura de probabilidad condicional. Los autores informan de una mejora relativa de alrededor del 75 % sobre DetectGPT tanto en escenarios de caja blanca como de caja negra, y una detección unas 340 veces más rápida. Artículo

8. Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text

Abhimanyu Hans et al. · ICML 2024

Binoculars compara lo sorprendente que resulta un texto para un modelo con lo sorprendentes que resultan las predicciones de un modelo para otro. Sin ningún dato de entrenamiento, detecta más del 90 % de las muestras de ChatGPT y otros LLM con una tasa de falsos positivos del 0,01 %. En RAID fue el más destacado con tasas bajas de falsos positivos. Lee nuestra explicación de Fast-DetectGPT y Binoculars. Artículo

9. Ghostbuster: Detecting Text Ghostwritten by Large Language Models

Vivek Verma, Eve Fleisig, Nicholas Tomlin, Dan Klein · NAACL 2024

Ghostbuster pasa los documentos por varios modelos de lenguaje más débiles, busca entre combinaciones de sus rasgos y entrena un clasificador con el resultado, así que no necesita acceso a las probabilidades del modelo objetivo. Alcanzó 99,0 de F1 entre dominios, 5,9 puntos de F1 por encima del mejor modelo anterior, y se publicó con nuevos conjuntos de datos de ensayos de estudiantes, escritura creativa y noticias. Artículo

10. M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection

Yuxia Wang et al. · EACL 2024

M4 abarca seis generadores (entre ellos GPT-4, ChatGPT, Cohere, Dolly-v2 y BLOOMz), dominios que van de Wikipedia a resúmenes de arXiv y revisiones por pares, y siete idiomas: árabe, búlgaro, chino, inglés, indonesio, ruso y urdu. Su principal hallazgo es que a los detectores les cuesta generalizar a dominios y modelos no vistos, y en esos casos tienden a considerar humano el texto de máquina. Se convirtió en la base de la tarea 8 de SemEval-2024. Artículo

11. RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors

Liam Dugan et al. · ACL 2024

RAID pone a prueba 12 detectores con más de 6 millones de generaciones de 11 modelos, 8 dominios, 4 estrategias de decodificación y 11 ataques adversarios, con todos los detectores calibrados a la misma tasa de falsos positivos. Detectores que parecen excelentes en un escenario pueden fallar en otro, y una penalización por repetición bastó para reducir la precisión hasta 32 puntos. Lee nuestra explicación de RAID. Artículo

Uno más para docentes

Testing of detection tools for AI-generated text, de Debora Weber-Wulff et al. (International Journal for Educational Integrity, 2023), probó 14 herramientas con 54 documentos controlados. Ninguna llegó al 80 % de precisión, y la paráfrasis automática redujo la precisión media al 26 %. Lee nuestro resumen del estudio de las 14 herramientas o el artículo. Para la teoría de por qué la detección puede seguir siendo difícil, consulta nuestro artículo sobre si el texto de IA puede detectarse de forma fiable. Para saber en qué se fijan los docentes además de la puntuación, consulta ¿los profesores pueden detectar la IA?

Cómo leer estos artículos

• Comprueba la tasa de falsos positivos. Una cifra de precisión sin ella es difícil de interpretar. DIPPER, Binoculars y RAID informan de la detección con una tasa de falsos positivos baja y fija precisamente por eso.
• Comprueba qué modelos y dominios se probaron. Los resultados con GPT-2 o con noticias pueden no trasladarse a un modelo actual que redacta una sección de métodos.
• Fíjate en la fecha. Las herramientas comerciales se actualizan a menudo, así que una puntuación de 2023 para un producto concreto es una instantánea.
• Busca a quién se marca por error. Liang et al. y Weber-Wulff et al. muestran que los errores recaen con más fuerza en la escritura de hablantes no nativos y en los textos traducidos.

Dónde encaja Academic Humanizer

Leídos en conjunto, estos artículos muestran que los detectores reaccionan a estadísticas superficiales que la escritura humana cuidada también puede presentar. Academic Humanizer está pensado para investigadores cuyas propias ideas se etiquetan mal por ese motivo. Humanizer reescribe solo las frases que marcan los detectores, conserva tu argumento, tus cifras y tus citas, y su informe de detección de IA compara el borrador y el resultado con la misma medida para que puedas revisar cada cambio. Como siempre, consulta la política de IA de tu institución o revista antes del envío.