¿Son fiables los detectores de IA? El artículo de Sadasivan, explicado

¿Son fiables los detectores de IA? No cuando alguien intenta activamente eludirlos, según "Can AI-Generated Text Be Reliably Detected?", un artículo de 2023 de Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang y Soheil Feizi, y cada vez menos a medida que los modelos de lenguaje suenan más humanos. El artículo, publicado después en Transactions on Machine Learning Research, se convirtió en uno de los argumentos más citados en el debate sobre los detectores de IA.

Planteaba tres afirmaciones. Parafrasear texto de máquina, sobre todo de forma repetida, derrota a todos los tipos principales de detector. Los detectores también pueden ser engañados (spoofing) para que marquen texto humano. Y existe un techo matemático para lo bien que puede funcionar cualquier detector. Este artículo explica cada una y luego repasa los trabajos que las rebatieron.

Afirmación 1: la paráfrasis recursiva rompe los detectores

El ataque es fácil de describir. Toma un fragmento escrito por un modelo de lenguaje y pásalo por un modelo de paráfrasis. Luego parafrasea la paráfrasis, y repite. Los autores lo llaman paráfrasis recursiva y lo probaron con fragmentos de unos 300 tokens usando varios parafraseadores, entre ellos DIPPER, un modelo de 11.000 millones de parámetros creado por otro equipo justamente para este tipo de estudio.

Lo dirigieron contra cuatro familias de detectores:

• Detectores de marca de agua, que buscan un patrón estadístico oculto insertado en el momento de la generación. Nuestra explicación del artículo sobre marcas de agua en LLM cuenta cómo funcionan.
• Clasificadores entrenados, como el detector basado en RoBERTa que publicó OpenAI.
• Detectores zero-shot como DetectGPT, que leen las probabilidades del propio modelo.
• Detectores de recuperación, que comparan un fragmento con una base de datos de todo lo que ha generado un modelo.

• Marca de agua, original (TPR con 1 % de FPR)99,3 %
• Marca de agua, tras la paráfrasis recursiva9,7 %
• Detector zero-shot, original (AUROC)96,5 %
• Detector zero-shot, tras la paráfrasis (AUROC)25,2 %

Fuente: Sadasivan et al., "Can AI-Generated Text be Reliably Detected?", arXiv 2303.11156

Con el texto con marca de agua, la paráfrasis recursiva hizo caer la tasa de verdaderos positivos, con una tasa de falsos positivos del 1 %, del 99,3 % al 9,7 %. Con el detector zero-shot, el AUROC bajó del 96,5 % al 25,2 %, peor que adivinar al azar. Los autores también hicieron evaluaciones humanas e informaron de que las paráfrasis conservaban en su mayoría el sentido y la gramática, aunque la calidad bajó en algunos casos.

Afirmación 2: los detectores pueden ser engañados

El segundo ataque va en sentido contrario: hacer que un texto humano parezca de máquina. Los autores mostraron que un atacante que solo consulta un modelo con marca de agua, sin ver cómo funciona el detector, puede estimar qué palabras favorece la marca. Escribir con esas palabras hace que un texto humano active la marca de agua. En su experimento, el spoofing llevó el AUROC de detección de la marca de agua suave del 99,8 % al 1,3 %, es decir, el detector ya no podía distinguir el texto con marca de agua real del falsificado.

Para quien ve su trabajo revisado por detectores, este es el resultado más incómodo. Un detector al que se puede engañar para que acuse a la escritura humana es un riesgo reputacional para las personas a las que juzga, no solo para quien desarrolla el modelo.

Afirmación 3: el límite del AUROC

El resultado teórico liga la detección a un solo número. Imagina todo el texto que podrían escribir las personas como una distribución de probabilidad y todo el texto que podría escribir un modelo como otra. La distancia de variación total entre ambas, TV, mide cuánto difieren, de 0 (idénticas) a 1 (sin solapamiento). El artículo demuestra que, para cualquier detector:

AUROC ≤ 1/2 + TV − TV²/2

Cuando TV es grande, el límite es holgado y es posible un buen detector. A medida que los modelos mejoran y su distribución de salida se acerca a la escritura humana, TV se reduce y el mejor AUROC alcanzable se desliza hacia 0,5, como lanzar una moneda.

Valores calculados a partir del límite del artículo; no son resultados experimentales.

• Distribuciones muy separadas
• Distribuciones muy próximas

Ejemplo ilustrativo del significado del límite, no datos del artículo

Las réplicas

El artículo provocó respuestas contundentes. Conviene conocer tres.

Más texto vuelve a hacer posible la detección

Souradip Chakraborty y sus colegas defendieron en un artículo de posición en ICML 2024, "Position: On the Possibilities of AI-Generated Text Detection", que el límite se aplica a una sola muestra. Si un detector ve más texto, ya sean fragmentos más largos o varias muestras de la misma fuente, las distribuciones se distinguen mejor, y la detección sigue siendo viable salvo que el texto humano y el de máquina sean idénticos en todo su rango. Calcularon cuánto texto hace falta. En resumen: el techo es real por muestra, pero sube con la longitud.

Las marcas de agua resisten más de lo esperado

El equipo detrás del método original de lista verde, encabezado por John Kirchenbauer, lo estudió en "On the Reliability of Watermarks for Large Language Models" (ICLR 2024). Encontraron que las marcas de agua seguían siendo detectables tras paráfrasis tanto humanas como automáticas, porque las paráfrasis tienden a conservar fragmentos del original. En un escenario con mucha reformulación humana, la marca de agua era detectable tras unos 800 tokens de media con una tasa de falsos positivos muy baja.

La recuperación como defensa

Kalpesh Krishna y sus colegas, creadores de DIPPER, propusieron en su artículo de NeurIPS 2023 que un proveedor de modelos podría almacenar sus propias salidas y buscar en ellas. Con 15 millones de generaciones almacenadas, detectaron entre el 80 % y el 97 % de las salidas parafraseadas con una tasa de falsos positivos del 1 %. Sadasivan et al. respondieron que la paráfrasis recursiva también debilita la recuperación. Hablamos de DIPPER en cómo la paráfrasis de DIPPER elude los detectores de IA.

Qué significa en la práctica

El debate se asienta en una posición intermedia razonable. La detección funciona mejor con textos largos que con textos cortos, funciona mejor cuando el detector sabe qué modelo esperar y se debilita a medida que mejoran los modelos y las herramientas de reescritura. Ninguna de las réplicas afirma que un solo párrafo pueda juzgarse con certeza. Para ver cómo se traduce esto en un detector comercial, consulta ¿Turnitin detecta texto humanizado?

• Los fragmentos cortos son los más inciertos. Un resumen o un solo párrafo es justo donde aprieta el límite por muestra. Benchmarks como RAID muestran cuánto varía el rendimiento según el escenario.
• Los errores van en las dos direcciones. Los detectores pasan por alto texto de máquina reescrito y también pueden marcar texto humano, como muestra el trabajo sobre el sesgo contra quienes no escriben en su lengua materna.
• Una puntuación es una probabilidad, no un veredicto. Las instituciones que la tratan como prueba se apoyan en más certeza de la que respalda la investigación.

Dónde encaja Academic Humanizer

Si la detección es incierta a nivel de párrafo, lo sensato para un autor honesto es mirar las frases que determinan una puntuación en lugar de adivinar. Academic Humanizer analiza un borrador en busca de frases que marcan los detectores, reescribe solo esas conservando el sentido, las cifras y las citas, y deja como estaban las frases que se leen como humanas. Su informe de detección de IA compara la versión de antes y la de después con la misma medida y dice con claridad si algo sigue marcado. Tú revisas y apruebas cada cambio, y consultar la política de IA de tu institución o revista sigue siendo parte del trabajo.