¿Turnitin detecta marcas de agua de IA? Las marcas de agua en LLM

La descripción pública que hace Turnitin de su detector de IA es la de un clasificador entrenado que puntúa patrones de escritura; no menciona la lectura de marcas de agua. Las marcas de agua en LLM son una idea distinta: una forma de ocultar una señal estadística en el texto generado por IA en el momento en que se escribe, para que un programa que tenga una clave secreta pueda confirmar después de dónde procede. El método más conocido, "A Watermark for Large Language Models", de John Kirchenbauer y sus colegas (ICML 2023), empuja al modelo hacia un conjunto secreto de palabras "verdes" elegido al azar. Los lectores no lo ven, pero una prueba estadística sencilla puede contar las palabras verdes y detectar el patrón en un pasaje corto.

Las marcas de agua aparecen a menudo en las conversaciones sobre detección de IA, y con frecuencia se malinterpretan. Este artículo explica cómo funciona el método de la lista verde, qué informó el artículo, cómo las ediciones debilitan la señal y qué se usa realmente hoy.

Cómo funciona la marca de agua de la lista verde

Un modelo de lenguaje escribe un token cada vez, y un token es una palabra o un trozo de palabra. Antes de elegir cada token, el esquema de marca de agua hace lo siguiente:

1. Semilla a partir del token anteriorSe aplica un hash al token recién generado para inicializar un generador de números aleatorios.
2. División del vocabularioCon esa semilla se divide todo el vocabulario en una lista verde (una fracción γ de las palabras) y una lista roja (el resto).
3. Inclinar las probabilidadesSe suma una pequeña bonificación, δ, a las puntuaciones de los tokens verdes antes del muestreo, para que las palabras verdes sean más probables.
4. Muestrear como siempreSe elige el siguiente token. Se repite en cada posición del texto.

El artículo describe dos versiones. Una marca de agua dura prohíbe directamente los tokens rojos, lo que puede estropear el texto cuando la única palabra siguiente razonable resulta ser roja. La marca de agua suave, a la que se refiere casi todo el mundo, solo inclina las probabilidades. Cuando el modelo está seguro (baja entropía, como "Barack" seguido de "Obama"), la bonificación apenas importa y la calidad queda protegida. Cuando muchas palabras funcionarían igual de bien, decide la bonificación y las palabras verdes se acumulan.

The survey results suggest that rural clinics face persistent staffing gaps across both regions.

Ejemplo ilustrativo. Verde = token de la lista verde de esa posición; rojo = lista roja. Un texto sin marca de agua mostraría aproximadamente una proporción γ de verdes.

Detectar la marca de agua: la prueba del z-score

La detección no requiere acceso al modelo. Cualquiera que tenga la clave secreta del hash puede reconstruir la lista verde de cada posición a partir del token anterior y contar cuántos tokens del pasaje son verdes. El texto humano no sabe nada de las listas, así que aproximadamente una fracción γ de sus tokens serán verdes por azar. El texto con marca de agua tendrá más.

La prueba pregunta hasta qué punto sorprende el recuento de verdes. Con T tokens, de los cuales G son verdes, el artículo usa la prueba z para una proporción:

z = (G − γT) / √(T × γ × (1 − γ))

Si z supera un umbral, el texto se marca como portador de marca de agua. Con un umbral de z = 4, la probabilidad de que un texto sin marca lo supere por azar es de aproximadamente 0,00003, es decir, tres entre cien mil. El cálculo también muestra por qué funcionan los fragmentos cortos: con γ = 0,5 y una marca de agua dura, 16 tokens todos verdes ya dan z = 4.

En los experimentos del artículo con un modelo OPT de varios miles de millones de parámetros, secuencias de unos 200 tokens, δ = 2 y γ = 0,5 con muestreo multinomial ordinario, la prueba detectó el 98,4 % de los textos con marca de agua sin falsos positivos en esa configuración. Un δ mayor hace la marca más fuerte y más fácil de detectar, a cambio de cierta pérdida de calidad del texto.

Cómo resiste la marca de agua las ediciones

Como la lista verde de cada posición depende del token anterior, cambiar una palabra altera el estado verde o rojo de un par de posiciones, no de todo el texto. Los autores probaron un ataque que sustituía fragmentos con un modelo T5. Debilitó la marca de agua, pero las sustituciones también empeoraron notablemente el texto, de modo que había un equilibrio entre eliminar la señal y mantener una redacción utilizable.

Trabajos posteriores probaron ataques más duros:

• Paráfrasis. Sadasivan y sus colegas informaron de que la paráfrasis recursiva redujo la detección de pasajes de 300 tokens con marca de agua del 99,3 % al 9,7 % con una tasa de falsos positivos del 1 %. Consulta ¿se puede detectar de forma fiable el texto generado por IA?
• Suplantación. El mismo artículo mostró que un atacante podía estimar las listas verdes a partir de las salidas del modelo y falsificar texto humano que pareciera llevar marca de agua, llevando el AUROC del detector del 99,8 % al 1,3 %.
• Una defensa de la fiabilidad. El equipo de Kirchenbauer respondió en "On the Reliability of Watermarks for Large Language Models" (ICLR 2024): las marcas de agua seguían siendo detectables tras paráfrasis humanas y automáticas, porque las paráfrasis conservan fragmentos del original. En una configuración con reformulación humana intensa, la detección necesitó de media unos 800 tokens con una tasa de falsos positivos muy baja.

El resumen justo: las ediciones ligeras dejan intacta la marca de agua, la reescritura intensa la debilita y los textos más largos dan al detector más material con el que trabajar. Nuestro artículo sobre la paráfrasis con DIPPER trata el lado de la reescritura con más detalle.

Por qué Turnitin no usa marcas de agua

Una marca de agua solo puede encontrarse en el texto de un modelo que la haya aplicado, y solo puede hacerlo quien tenga la clave. La mayor parte del texto que la gente pega en un detector procede de muchos modelos distintos, y la mayoría no comparte una clave de marca de agua con ningún proveedor de detección. Por eso los detectores comerciales funcionan de otra manera. La descripción pública de Turnitin sobre su detección de escritura con IA habla de un clasificador transformer entrenado: el texto se divide en segmentos solapados, se puntúa cada frase y las puntuaciones se combinan en una estimación para el documento. Nada en esa descripción implica leer una marca de agua. Explicamos el indicador en la puntuación de detección de IA de Turnitin, explicada, y los tipos de detectores en general en cómo funcionan los detectores de IA. Lo que Turnitin dice que sí detecta en los distintos chatbots se explica en ¿Turnitin detecta ChatGPT, Claude y Gemini?

En qué punto están las marcas de agua en la industria

Las marcas de agua han pasado de la investigación a al menos un gran sistema en producción. Google DeepMind publicó "Scalable watermarking for identifying large language model outputs" en Nature en octubre de 2024, donde describe SynthID-Text, que solo modifica el paso de muestreo y detecta sin ejecutar el modelo de lenguaje. El equipo informó de un experimento en vivo con casi 20 millones de respuestas de Gemini que no mostró pérdida en la calidad valorada por los usuarios.

OpenAI adoptó una postura más prudente. En una actualización de agosto de 2024 dijo que su propio método de marca de agua para texto era muy preciso frente a manipulaciones locales como la paráfrasis, pero menos frente a cambios globales como la traducción o la reformulación con otro modelo, y que podía afectar de forma desproporcionada a grupos como los hablantes no nativos de inglés. En ese momento no había publicado la herramienta.

Así que las marcas de agua existen y funcionan en el caso concreto para el que se crearon: confirmar que el modelo de un proveedor determinado produjo un texto. No responden a la pregunta general de si alguna IA intervino en un manuscrito.

Qué relación tiene esto con Academic Humanizer

Para la mayoría de los investigadores, los detectores que importan en el día a día son clasificadores que puntúan el estilo de cada frase, no lectores de marcas de agua. Ese es el nivel en el que trabaja Academic Humanizer: encuentra las frases que marcan los detectores, reescribe solo esas manteniendo intactas las afirmaciones, cifras, citas y términos, y deja el resto del borrador como lo escribiste. El AI Detection Report coloca cada frase marcada junto a su reescritura para que la revises, y aun así debes seguir las normas de declaración de uso de IA de tu institución o revista.