¿Qué precisión tienen los detectores de IA? Lo que muestra RAID

¿Qué precisión tienen los detectores de IA? Muchos anuncian un 99 % o más. El benchmark RAID, presentado en ACL 2024, se creó para poner a prueba ese tipo de afirmaciones con un conjunto de datos compartido y difícil. Su respuesta: los detectores pueden alcanzar una precisión muy alta, pero solo en condiciones estrechas, a menudo solo si se les permiten muchos falsos positivos, y cambios sencillos en la forma de generar el texto o pequeñas alteraciones pueden llevarlos casi al fracaso.

Esto es lo que contiene RAID, cómo mide los detectores y por qué sus cifras rara vez coinciden con las de las páginas de los proveedores.

Qué hay dentro de RAID

RAID es grande a propósito. Los conjuntos de datos de detección anteriores solían usar uno o dos generadores, una sola configuración de decodificación y ningún ataque, lo que favorece a los detectores. RAID varía todo eso a la vez.

El diez por ciento de los datos se reserva sin etiquetas como conjunto de prueba oculto, y los autores mantienen una clasificación pública para que los nuevos detectores puedan compararse en igualdad de condiciones. Un conjunto aparte, RAID-extra, añade 2,3 millones de generaciones de código Python, noticias en checo y noticias en alemán.

Los resúmenes de artículos son uno de los ocho dominios, lo que hace que RAID sea más relevante para quienes escriben textos académicos que los benchmarks basados solo en noticias o textos web.

Por qué la tasa de falsos positivos lo cambia todo

Un detector devuelve una puntuación. Para convertirla en "IA" o "humano", alguien elige un umbral. Los autores de RAID muestran que esa elección importa más de lo que admite la mayor parte del marketing.

Primero, comprobaron qué ocurre con un umbral ingenuo, como 0,5. Varios detectores de código abierto, sobre todo los basados en métricas, produjeron lo que los autores llaman tasas de falsos positivos peligrosamente altas. Los detectores comerciales estaban mejor calibrados, y ninguno superó una tasa de falsos positivos del 1,7 % en los umbrales habituales probados.

Segundo, representaron la precisión frente a la tasa de falsos positivos. Los detectores podían alcanzar las altísimas precisiones que se citan en informes virales, pero solo si se les permitía una tasa de falsos positivos igual de alta. A medida que bajaba la tasa tolerada, la mayoría caía en picado, y pocos podían funcionar por debajo del 1 %. Algunos ni siquiera llegaron a la tasa más baja probada y se estancaron en el 16,9 % (ZeroGPT), el 0,88 % (Fast-DetectGPT) y el 0,62 % (Originality). Binoculars fue la excepción clara y se mantuvo bien con tasas bajas de falsos positivos.

• Tasa de detección en texto de IA
• Tasa de falsos positivos en texto humano

Ejemplo ilustrativo del equilibrio que mide RAID, no son datos del artículo.

En el resto del artículo, cada detector se calibra a una tasa de falsos positivos del 5 % sobre los textos humanos de RAID, y la precisión se informa en ese punto. Es la única forma justa de comparar herramientas, y también la razón por la que las cifras de RAID parecen más bajas que las de los proveedores, que a menudo ni siquiera indican una tasa de falsos positivos.

Muestreo, penalizaciones por repetición y modelos no vistos

Algunos de los resultados más llamativos de RAID no implican ningún ataque, solo configuraciones normales de generación.

Penalización por repetición. Añadir una penalización por repetición, que disuade al modelo de reutilizar los mismos tokens, redujo la precisión hasta 32 puntos entre detectores, generadores y dominios. Los autores señalan que ningún estudio previo sobre la resistencia de los detectores lo había analizado, pese a que las penalizaciones hacen que el resultado suene más humano.

Estrategia de decodificación. Todas las categorías de detectores funcionaron bastante mejor con decodificación voraz que con muestreo aleatorio.

Generadores no vistos. El detector RoBERTa entrenado con salidas de GPT-2 superó el 95 % en texto de GPT-2 en cinco dominios, pero rara vez pasó del 60 % con texto de otros modelos en esos mismos dominios. Los detectores funcionan mejor con los modelos y dominios con los que se entrenaron, y los autores observaron patrones similares en las herramientas comerciales.

El artículo lo resume sin rodeos: cambiar el generador, la estrategia de decodificación o añadir una penalización por repetición bastó para introducir tasas de error del 95 % o más en detectores que, por lo demás, parecían excelentes.

Cómo afectan los ataques adversarios a cada detector

Los ataques de RAID son ediciones de caja negra deliberadamente sencillas. Su efecto varió mucho según el detector, y ese es uno de los hallazgos más útiles del artículo.

• Originality, sin ataque85,0 %
• Originality, ataque con homoglifos9,3 %
• Binoculars, sin ataque79,6 %
• Binoculars, cambio por sinónimos43,5 %
• GPTZero, sin ataque66,5 %
• GPTZero, ataque con homoglifos66,2 %

Fuente: Dugan et al. 2024, tabla 6.

• Cambiar una pequeña parte de las palabras por sinónimos redujo Binoculars y otros métodos basados en métricas hasta 36,1 puntos.
• Los homoglifos, caracteres que se ven idénticos pero tienen otro punto de código, perjudicaron a casi todos los detectores. GPTZero perdió solo 0,3 puntos; otros cinco cayeron una media de 40,6.
• Los detectores con entrenamiento adversario, como RADAR, resistieron mucho mejor.
• Algunos ataques ayudaron. El detector RoBERTa de GPT-2 mejoró 16,2 puntos tras la paráfrasis con T5, probablemente porque el parafraseador acercó el texto a los propios datos de entrenamiento del detector.

El patrón de fondo es el mismo que se ve en estudios más pequeños, como la prueba de 14 herramientas de Weber-Wulff y sus colegas: los detectores leen estadísticas superficiales, y cada detector lee unas distintas. Un cambio que no toca el significado puede igualmente hacer que un texto cruce la línea de un detector.

Por qué las cifras del benchmark difieren de las de los proveedores

Cuando una página de producto dice 99 %, suele referirse al 99 % en el conjunto de prueba del propio proveedor, extraído de los modelos, dominios y configuraciones para los que se entrenó el detector, con un umbral que no se le dice al lector. RAID difiere en cada uno de esos puntos:

• Fija e informa la tasa de falsos positivos, de modo que la precisión no puede comprarse a costa de marcar por error textos humanos.
• Incluye modelos y dominios que un detector quizá nunca haya visto.
• Varía configuraciones de decodificación que los usuarios y las herramientas reales cambian de forma rutinaria.
• Aplica ediciones baratas por las que pasa de todos modos el texto real, como erratas, cambios de formato y reformulaciones.

Ninguna de las dos cifras es falsa. Responden a preguntas distintas. La cifra del proveedor te dice cómo rinde una herramienta en las condiciones para las que se creó. RAID te dice cómo se comporta cuando cambian las condiciones, que se parece más a lo que le ocurre a un manuscrito real. Esa brecha también explica buena parte de lo que tratamos en por qué discrepan los detectores de IA ante un mismo párrafo.

Los autores marcan una línea firme en su declaración ética: dados los problemas de falsos positivos sin resolver, se oponen a usar detectores en contextos disciplinarios o sancionadores hasta que se adopten de forma generalizada mejores estándares de evaluación.

Qué significa esto para quienes escriben textos académicos

Si escribes con ayuda de IA, RAID te recuerda que cualquier puntuación de un detector depende de configuraciones que no ves. Trata un resultado como una lectura más, revisa qué dice la política de tu institución o revista sobre la ayuda de IA y conserva registros de tu proceso de redacción. Si se usa una puntuación en tu contra, evidencias de benchmarks como esta son una base legítima para pedir una revisión humana; nuestro artículo sobre qué hacer si te acusan por error de usar IA explica los pasos prácticos. ¿Turnitin detecta ChatGPT, Claude y Gemini? analiza la misma cuestión para Turnitin, que RAID no probó.

Qué papel tiene Academic Humanizer

Como los detectores discrepan y cambian, Academic Humanizer comprueba sus resultados con varios de ellos en lugar de con uno solo. Está validado con Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling y Originality.ai. Humanizer reescribe solo las frases que marcan los detectores, conserva tu terminología, tus cifras y tus citas, y su AI Detection Report muestra el borrador y el resultado lado a lado con la misma medida, incluidas las frases que sigan marcadas, para que decidas qué revisar antes de enviar.