¿Parafrasear evita el detector de IA? El artículo de DIPPER, explicado

¿Parafrasear evita el detector de IA? En una prueba de 2023, en gran medida sí: investigadores de UMass Amherst y Google mostraron que una sola pasada de un buen modelo de paráfrasis podía hacer que un texto generado por IA burlara a la mayoría de los detectores, dejando su sentido casi intacto. Su artículo, presentado en NeurIPS 2023, redujo la tasa de detección de DetectGPT del 70,3 % al 4,6 % con una tasa fija de falsos positivos del 1 %. También propuso una defensa que no depende en absoluto de leer el estilo del texto.

El artículo es el punto de partida de casi todo el trabajo posterior sobre humanizadores de IA y la resistencia de los detectores. Esto es lo que hizo, lo que encontró y lo que significa para quienes escriben con ayuda de IA.

Qué es DIPPER

DIPPER (abreviatura de Discourse Paraphraser) es un modelo de 11.000 millones de parámetros ajustado a partir de T5-XXL. La mayoría de los parafraseadores de entonces trabajaban frase a frase. DIPPER se entrenó para reescribir párrafos enteros, aprovechar el contexto circundante, como la instrucción original, y reordenar el contenido entre frases.

Sus datos de entrenamiento procedían de PAR3, un conjunto de datos con varias traducciones al inglés de las mismas novelas escritas en otros idiomas. Dos traductores que vierten el mismo párrafo producen paráfrasis naturales uno del otro, con distintas palabras y distinto orden de frases pero el mismo contenido. Eso dio al modelo ejemplos realistas de cómo las personas expresan una misma idea de formas distintas.

DIPPER tiene dos controles, ambos ajustables en el momento de la inferencia:

• Diversidad léxica (L): cuánto cambian las palabras. Los autores señalan que L = 20 corresponde aproximadamente a una modificación léxica del 20 %.
• Diversidad de orden (O): cuánto se reordena el contenido dentro del párrafo.

En los experimentos principales, L se fijó en 20, 40 o 60 y O en 0 o 60, y cada texto se parafraseó una sola vez, sin reintentos hasta que pasara.

Cómo se planteó la prueba

Los autores generaron textos de 300 tokens con tres modelos de tamaños muy distintos: GPT-2 XL (1.500 millones de parámetros), OPT-13B y GPT-3.5 (text-davinci-003). Las tareas eran la continuación libre de fragmentos de Wikipedia y la respuesta extensa a preguntas.

Después probaron cinco detectores: la marca de agua de Kirchenbauer et al., DetectGPT, GPTZero, el clasificador de texto de IA de OpenAI y RankGen. Todos los detectores se ajustaron a una tasa de falsos positivos del 1 %, es decir, solo 1 de cada 100 textos humanos se marcaría por error. Los autores sostienen que esta es la forma correcta de juzgar a los detectores, y añaden que incluso un 1 % probablemente es demasiado en la práctica.

Para comprobar que las paráfrasis conservaban el sentido, usaron P-SP, un modelo de similitud semántica, además de una evaluación humana.

Qué les pasó a las tasas de detección

• DetectGPT, texto de GPT-2 XL70,3 %
• DetectGPT, tras la paráfrasis4,6 %
• Marca de agua, texto de GPT-2 XL100 %
• Marca de agua, tras la paráfrasis57,2 %
• Clasificador de OpenAI, texto de GPT-3.530,0 %
• Clasificador de OpenAI, tras la paráfrasis15,6 %

Fuente: Krishna et al. 2023, sección 4.3 (generación libre a partir de Wikipedia).

En todos los modelos, detectores y tareas, la paráfrasis redujo la detección con cualquier ajuste de diversidad. Al mismo tiempo, entre el 88 % y el 99 % de las paráfrasis superaron la similitud mediana de los pares de paráfrasis escritos por personas, así que el sentido se conservó en gran medida.

Destacan otros dos hallazgos:

• La marca de agua fue la más resistente. Siguió detectando la mayoría de los textos parafraseados de GPT-2 XL, porque algunos tokens con marca de agua sobreviven a la reformulación. Su fuerza viene de una señal insertada al generar, que es una evidencia de otro tipo que el estilo. Consulta nuestra explicación sobre las marcas de agua para ver cómo funciona esa señal.
• Los detectores sin marca de agua ya eran débiles antes de la paráfrasis con los modelos más grandes. GPTZero y RankGen detectaron menos del 15 % del texto de IA sin parafrasear en estos escenarios, y DetectGPT cayó del 74,9 % con GPT-2 XL al 29,8 % con OPT-13B en respuestas extensas. OpenAI retiró su clasificador en julio de 2023 alegando baja precisión.

Por qué reescribir conservando el sentido cambia el veredicto

El resultado parece sorprendente hasta que recuerdas qué miden estos detectores. Como explicamos en cómo funcionan los detectores de IA, los detectores estadísticos como DetectGPT puntúan lo probable que es cada token según un modelo de lenguaje. Un detector de marca de agua cuenta tokens de una "lista verde" secreta. Ninguno lee el argumento.

Una paráfrasis conserva el argumento pero vuelve a elegir cada palabra a partir de la distribución de otro modelo. Los tokens que hacían que el texto original pareciera de máquina, o con marca de agua, se sustituyen por otros que significan lo mismo. El detector ve una huella estadística nueva; el lector ve el mismo párrafo.

Esa es la idea central que el artículo deja a todos los que vinieron después: la detección basada en el estilo mide la forma superficial, y la forma superficial puede cambiar mientras el sentido sigue fijo. La misma idea explica por qué una edición humana ligera confunde a los detectores en pruebas en el aula, y por qué el artículo de Sadasivan et al., publicado por las mismas fechas, sostuvo que la detección podría tener límites de fondo.

La defensa por recuperación

La segunda mitad del artículo ofrece una defensa que no depende del estilo. En lugar de preguntar "¿parece esto escrito por una máquina?", pregunta "¿escribió nuestro modelo algo con este sentido?".

1. AlmacenarEl proveedor del modelo de lenguaje guarda en una base de datos cada salida que genera su API.
2. CodificarEl texto que se quiere comprobar se convierte en una representación de su contenido.
3. BuscarEl sistema busca generaciones almacenadas con contenido coincidente, usando BM25 o el modelo semántico P-SP.
4. DecidirSi existe una coincidencia lo bastante cercana, el texto se marca como procedente del modelo de ese proveedor.

Como una paráfrasis conserva el contenido, sigue coincidiendo con el original almacenado. Con una base de datos de 15 millones de generaciones, la recuperación detectó entre el 80 % y el 97 % de los textos parafraseados según el escenario, marcando solo el 1 % del texto humano. En respuestas extensas, la recuperación con BM25 detectó el 97,8 %, el 97,3 % y el 96,2 % de los textos más parafraseados de los tres modelos, frente al 55,8 %, el 51,4 % y el 38,1 % del mejor detector alternativo.

Los autores tratan abiertamente los límites. La recuperación solo funciona si el proveedor la ejecuta, solo puede detectar las salidas de ese proveedor y plantea dudas reales sobre almacenamiento, privacidad y falsas coincidencias a medida que crecen las bases de datos. Los modelos de pesos abiertos ejecutados en local quedan completamente fuera.

La genealogía de la investigación sobre humanizadores

DIPPER definió la plantilla sobre la que se construyó el trabajo posterior: transformar el texto de IA con un modelo aparte, medir la detección con una tasa de falsos positivos baja y fija, y verificar que el sentido sobrevive. SICO mostró el mismo efecto solo con instrucciones. El benchmark RAID convirtió la paráfrasis en uno de sus once ataques estándar. Trabajos más recientes guían la paráfrasis con la propia retroalimentación de un detector.

Para quien escribe textos académicos, la lección no es una receta. Es una advertencia sobre lo que puede significar el veredicto de un detector. Una marca, o su ausencia, refleja cómo encajan las estadísticas superficiales de un texto con las expectativas de un modelo. No dice nada fiable sobre quién tuvo las ideas. Por eso tus borradores y tus notas importan más que cualquier puntuación, y por eso conviene consultar las normas de tu institución o revista sobre la ayuda de IA y declararla donde se exija. Además, los detectores comerciales han cambiado desde entonces; consulta ¿Turnitin detecta texto humanizado?

Dónde encaja Academic Humanizer

Academic Humanizer aplica la lección de esta investigación en sentido inverso: como los detectores reaccionan a patrones superficiales, el objetivo es cambiar lo menos posible conservando lo que importa. Humanizer reescribe solo las frases que marcan los detectores, deja el resto exactamente como estaba escrito y mantiene en su sitio afirmaciones, cifras, matices y citas. Su informe de detección de IA empareja cada frase marcada con su reescritura para que puedas comprobar el sentido línea a línea antes de usar el resultado.