DetectGPT explicado: cómo detecta la IA con curvatura de probabilidad

DetectGPT es un método zero-shot para detectar texto generado por IA que se hace una pregunta sencilla: si empujas un fragmento con pequeñas reescrituras, ¿le gusta menos a un modelo de lenguaje? El texto escrito por una máquina tiende a situarse en un máximo local de la probabilidad del modelo, así que casi cualquier cambio baja su puntuación. El texto humano no suele mostrar ese pico tan marcado.

La idea procede de un artículo de 2023 de Eric Mitchell y sus colegas, presentado en ICML 2023. Marcó buena parte de la investigación en detección que vino después, incluidos los métodos más rápidos en los que se apoyan hoy muchas herramientas. Esta explicación recorre el método con palabras sencillas, los resultados que publicaron los autores y lo que significa si tu propio texto pasa por un detector.

El problema que DetectGPT quería resolver

Antes de DetectGPT, los detectores se dividían en dos grandes familias. Los clasificadores entrenados aprenden de ejemplos etiquetados de texto humano y de máquina, lo que funciona bien con datos parecidos a los de entrenamiento y peor con cualquier cosa nueva. Las estadísticas zero-shot, como la log-probabilidad media o el rango de los tokens, no necesitan entrenamiento pero son toscas: un fragmento puede ser muy probable simplemente porque su tema es común o su estilo es formal.

Mitchell y sus colegas querían algo intermedio. Su detector usaría solo las log-probabilidades del modelo sospechoso de haber escrito el texto, más una herramienta genérica para hacer pequeñas ediciones. Sin conjunto de datos etiquetado, sin entrenar un clasificador y sin marca de agua insertada al generar. Si prefieres tener antes el contexto general, nuestro repaso de cómo funcionan los detectores de IA cubre las principales familias de detectores.

Cómo funciona DetectGPT: la curvatura de probabilidad en lenguaje sencillo

Un modelo de lenguaje asigna una probabilidad a cada fragmento. Imagina todos los fragmentos posibles como un terreno de colinas y valles, donde la altura es lo probable que el modelo considera un fragmento. Cuando un modelo genera texto, tiende a elegir en cada paso palabras de alta probabilidad, así que sus salidas acaban cerca de las cimas.

Ahora toma un fragmento y haz unas pocas ediciones pequeñas que conserven el sentido. Si el fragmento estaba en una cima, cualquier paso lleva cuesta abajo, y las versiones editadas puntúan menos. Si estaba en una pendiente suave o en terreno llano, como suele ocurrir con la escritura humana, algunas ediciones suben, otras bajan, y el cambio medio es casi cero. El artículo llama a esta forma curvatura negativa: la cima de una colina se curva hacia abajo por todos lados.

• Fragmento generado por un modelo
• Fragmento escrito por una persona

Ejemplo ilustrativo de la idea, no datos del artículo

En la práctica, el método tiene cuatro pasos.

1. Puntuar el originalCalcula la log-probabilidad del fragmento con el modelo que sospechas que lo escribió.
2. PerturbarloEnmascara tramos cortos de palabras y deja que otro modelo, T5, los rellene con alternativas plausibles.
3. Puntuar las copiasCalcula la log-probabilidad de cada copia perturbada con el mismo modelo sospechoso.
4. CompararSi el original puntúa claramente más alto que la copia media, marca el fragmento como probablemente generado por máquina.

El modelo de perturbación importa. Los autores usaron T5, un modelo que rellena huecos enmascarados, para sustituir tramos cortos de modo que las copias sigan siendo fluidas y cercanas en sentido. En su configuración principal enmascararon alrededor del 15 % de las palabras en tramos de dos palabras y generaron 100 muestras perturbadas por fragmento. La puntuación final es la diferencia entre el original y la media perturbada, normalizada por cuánto varían las puntuaciones perturbadas.

Qué informó el artículo de DetectGPT

El resultado principal vino de la detección de noticias falsas. Con artículos de noticias generados por el modelo GPT-NeoX de 20.000 millones de parámetros, DetectGPT alcanzó un AUROC de 0,95, frente a 0,81 del mejor método de referencia zero-shot. El AUROC mide lo bien que una puntuación separa dos grupos en todos los umbrales posibles: 0,5 equivale a lanzar una moneda y 1,0 es una separación perfecta.

Los autores probaron modelos desde 1.500 millones de parámetros (GPT-2) hasta modelos de 175.000 millones como GPT-3, con noticias (XSum), párrafos de Wikipedia (contextos de SQuAD) y propuestas de escritura creativa de Reddit. También hicieron una prueba sencilla de revisión al estilo humano: sustituir porciones crecientes del texto de máquina por reescrituras de T5. La detección se mantuvo por encima de 0,8 de AUROC incluso cuando se había sustituido casi una cuarta parte del texto.

Por qué DetectGPT importa a quienes ven su texto revisado

La mayoría de los detectores comerciales no publican cómo funcionan por dentro, y muchos son clasificadores entrenados más que pruebas al estilo de DetectGPT. Aun así, el artículo pone nombre a la señal en la que se basa buena parte de la detección: un texto demasiado previsible para un modelo. Eso tiene algunas consecuencias prácticas para los investigadores.

• La prosa formal es previsible por diseño. Las secciones de métodos, los matices estándar y las expresiones del área se repiten en miles de artículos. Un modelo las encuentra probables, lo que empuja la escritura humana cuidadosa hacia el lado de la máquina. Lo tratamos en por qué la prosa formal puede parecer escrita por IA.
• La puntuación es del fragmento, no del autor. DetectGPT mide una propiedad del texto bajo un modelo. No puede ver tus borradores, tus notas ni tu intención.
• El texto corto es más difícil. Menos tokens significa una estimación de la curvatura más ruidosa. Un solo resumen le da a la prueba menos material que un capítulo completo.

El detector también depende del modelo concreto que se use para puntuar el texto. Un texto que está en un pico para un modelo puede no estarlo para otro, y esa es una de las razones por las que distintas herramientas discrepan sobre el mismo párrafo.

Límites de DetectGPT

El artículo es franco sobre sus limitaciones, y trabajos posteriores revelaron más.

Necesita el modelo adecuado y mucha computación

DetectGPT funciona mejor cuando puede consultar las log-probabilidades del modelo que escribió el texto. En los modelos comerciales cerrados ese acceso es limitado, y usar otro modelo para puntuar debilita la señal. El coste es el otro problema: cada fragmento necesita cien pasadas adicionales por el modelo. El artículo posterior de Fast-DetectGPT cronometró DetectGPT en 79.113 segundos en su benchmark, frente a 233 segundos de su propio método en la misma GPU A100, una diferencia de unas 340 veces.

La paráfrasis rompe la señal de curvatura

El método supone que el fragmento sigue donde lo dejó el modelo. Una paráfrasis lo mueve. Krishna y sus colegas lo probaron directamente en su artículo de NeurIPS 2023 sobre el parafraseador DIPPER: reescribir texto de máquina redujo la tasa de detección de DetectGPT del 70,3 % al 4,6 % con una tasa fija de falsos positivos del 1 %. Sadasivan y sus colegas informaron después de que la paráfrasis hacía caer el AUROC de este tipo de detector zero-shot del 96,5 % al 25,2 %. Esa misma debilidad explica por qué no dejan de aparecer trucos con prompts; consulta por qué los prompts sencillos rara vez hacen indetectable un texto de ChatGPT.

• Texto de máquina original70,3 %
• Tras la paráfrasis con DIPPER4,6 %

Fuente: Krishna et al., "Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense", NeurIPS 2023

El modelo de perturbación condiciona el resultado

Los autores señalan que su enfoque necesita una función de perturbación razonable. T5 funciona para el inglés, pero en dominios donde un modelo genérico de relleno de huecos no produce reescrituras realistas, el rendimiento puede caer. El lenguaje científico especializado es un caso plausible.

Qué vino después de DetectGPT

DetectGPT inauguró una línea de detectores zero-shot que conservan la intuición central y reducen el coste. Fast-DetectGPT sustituye las reescrituras del fragmento completo por un muestreo a nivel de token, y Binoculars compara dos modelos relacionados para corregir los temas que en sí mismos resultan sorprendentes. Hablamos de ambos en Fast-DetectGPT y Binoculars explicados. En el otro lado, la investigación sobre ataques de paráfrasis, resumida en ¿se puede detectar de forma fiable el texto generado por IA?, muestra cuánto dependen estas señales de que el texto se mantenga cerca de lo que produciría un modelo.

Dónde encaja Academic Humanizer

Los detectores basados en la previsibilidad tienden a reaccionar a frases concretas que se leen demasiado pulidas o demasiado genéricas, incluso en borradores cuyas ideas y datos son enteramente del autor. Academic Humanizer trabaja a ese nivel: analiza un borrador en busca de frases que marcan los detectores, reescribe solo esas conservando afirmaciones, cifras, citas y terminología, y deja el resto exactamente como estaba escrito. El informe de detección de IA integrado muestra cada frase marcada junto a su reescritura para que puedas revisar cada cambio antes de usarlo, y conviene confirmar la política de IA de tu institución o revista como parte de esa revisión.