Fast-DetectGPT y Binoculars explicados: detección de IA más barata

Fast-DetectGPT y Binoculars son dos detectores zero-shot de texto de IA que abarataron la idea de DetectGPT lo suficiente como para usarla a gran escala. Ambos deciden si un fragmento está escrito por una máquina preguntándose lo previsibles que son sus palabras para un modelo de lenguaje, y ambos lo hacen en una sola pasada en lugar de las cien reescrituras que necesitaba DetectGPT. Fast-DetectGPT se presentó en ICLR 2024; Binoculars, en ICML 2024.

Este artículo explica ambos métodos para lectores ajenos al procesamiento del lenguaje natural, recoge las cifras que publicaron los autores y luego aborda la pregunta que más importa a los investigadores: qué hacen estos detectores con la prosa humana cuidadosa y formal.

De dónde vienen: el problema de coste de DetectGPT

DetectGPT mostró que el texto de máquina tiende a situarse en un pico local de la probabilidad de un modelo. Para medirlo, reescribía cada fragmento unas cien veces con otro modelo y volvía a puntuar cada copia. Funcionaba, pero era lento. Los autores de Fast-DetectGPT lo cronometraron en su benchmark: 79.113 segundos en una GPU A100. Su propio método tardó 233 segundos.

Cómo funciona Fast-DetectGPT: curvatura de probabilidad condicional

La clave es trabajar palabra por palabra. En cada posición del fragmento, un modelo de lenguaje tiene una distribución sobre las posibles palabras siguientes dadas las anteriores. Fast-DetectGPT pregunta: ¿la palabra que realmente se usó era una de las favoritas del modelo en esa posición, comparada con lo que el modelo elegiría normalmente ahí?

1. Fijar el contextoMantén el fragmento real para que cada posición tenga sus verdaderas palabras precedentes.
2. Muestrear alternativasEn cada posición, extrae tokens alternativos de un modelo de muestreo, de forma independiente de las demás posiciones.
3. Puntuar ambosUn modelo de puntuación da la log-probabilidad de los tokens reales y de los muestreados.
4. NormalizarResta la puntuación media muestreada y divide por su dispersión. Un resultado alto significa que el texto elige las palabras favoritas del modelo con una frecuencia inusual.

Los autores lo llaman curvatura de probabilidad condicional. Como las muestras se extraen por token con el contexto real fijo, todo el cálculo necesita solo una o dos pasadas por el modelo en lugar de cien. En el escenario de caja negra, donde se desconoce el modelo de origen, usaron GPT-J como modelo de muestreo y GPT-Neo-2.7B como modelo de puntuación.

Qué informó Fast-DetectGPT

Promediando cinco modelos de origen en el escenario de caja blanca, Fast-DetectGPT alcanzó un AUROC de 0,9887 frente a 0,9554 de DetectGPT. Con texto de ChatGPT y GPT-4 en el escenario de caja negra, alcanzó 0,9338 frente a 0,7225. El AUROC va de 0,5, lanzar una moneda, a 1,0, una separación perfecta.

• DetectGPT, caja blanca0,9554
• Fast-DetectGPT, caja blanca0,9887
• DetectGPT, caja negra (ChatGPT, GPT-4)0,7225
• Fast-DetectGPT, caja negra (ChatGPT, GPT-4)0,9338

Fuente: Bao et al., Fast-DetectGPT, ICLR 2024, tabla 1

Cómo funciona Binoculars: perplejidad dividida por perplejidad cruzada

Binoculars, de Abhimanyu Hans y sus colegas, ataca otra debilidad. La perplejidad simple, una medida de cuánto le sorprende un texto a un modelo, mezcla dos cosas: si el texto lo escribió una máquina y si el tema es inusual. Los autores dan un ejemplo memorable al que llaman el problema del capibara. Pide a un chatbot que escriba sobre un capibara que es astrofísico, y el resultado sorprenderá a un modelo aunque lo haya escrito una máquina, porque el tema en sí es extraño.

Binoculars corrige esto con dos modelos estrechamente relacionados, un observador y un ejecutor (en el artículo, Falcon-7B-Instruct y Falcon-7B). Calcula dos magnitudes:

• Log-perplejidad: cuánto le sorprende al modelo observador el texto real.
• Log-perplejidad cruzada: cuánto le sorprende al observador, de media, lo que el modelo ejecutor habría predicho en cada posición. Es una referencia de lo sorprendente que sería un texto de máquina sobre ese tema.

La puntuación de Binoculars es la primera dividida por la segunda. Una instrucción extraña eleva ambos números, así que el cociente se mantiene bajo para el texto de máquina. La escritura humana tiende a ser más sorprendente que la referencia de máquina, así que su cociente es más alto.

• Texto escrito por máquina
• Texto escrito por personas

Ejemplo ilustrativo de la idea, no datos de ninguno de los dos artículos

Qué informó Binoculars

En distintos tipos de documento, Binoculars detectó más del 90 % de las muestras generadas por ChatGPT con una tasa de falsos positivos del 0,01 %, es decir, un texto humano de cada diez mil. No había visto datos de ChatGPT durante su desarrollo. Los autores también probaron ensayos de hablantes no nativos de inglés procedentes de un foro de ensayos en línea, en versión original y con la gramática corregida, e informaron de la misma precisión, el 99,67 %, en ambos casos. Si las herramientas comerciales generalizan igual entre chatbots es otra cuestión, que tratamos en ¿Turnitin detecta ChatGPT, Claude y Gemini?

Límites y falsos positivos en textos formales

Ambos artículos publican cifras sólidas en sus benchmarks. Hay algunas salvedades importantes cuando estas ideas acaban dentro de herramientas que juzgan manuscritos reales.

La escritura humana previsible sigue puntuando como previsible

Ambos detectores premian la sorpresa. La escritura académica a menudo la evita a propósito: las descripciones de métodos estándar, las expresiones fijas, los matices prudentes y la terminología del área hacen que el texto sea más fácil de predecir. Los propios autores de Fast-DetectGPT advierten que los detectores de este tipo pueden mostrar tasas de falsos positivos más altas con textos de hablantes no nativos de inglés. Binoculars salió bien parado en su prueba con ensayos de estudiantes de inglés como segunda lengua, lo cual es alentador, pero un conjunto de ensayos de estudiantes no es lo mismo que una sección de métodos de investigación clínica. Nuestro artículo sobre el sesgo de los detectores contra quienes no escriben en su lengua materna trata el estudio que planteó esta preocupación.

El texto memorizado parece texto de máquina

El equipo de Binoculars probó 11 textos famosos. Tres quedaron del lado de la máquina de su umbral, porque los fragmentos que un modelo ha memorizado le resultan muy previsibles. Los autores señalan que esto es coherente con el funcionamiento del detector, y que puede ser aceptable para algunos usos pero un problema para otros. Las definiciones citadas y los fragmentos estándar de la escritura académica plantean una preocupación parecida.

Paráfrasis y discrepancia de modelos

Ninguno de los dos artículos afirma resistir una reescritura deliberada, y los autores de Binoculars señalan que no estudiaron ataques adversarios. Fast-DetectGPT también se debilita cuando el modelo de puntuación difiere del modelo de origen y cuando los fragmentos son cortos. Como todos los métodos zero-shot de este tipo leen probabilidades de tokens, un fragmento reescrito a fondo es un objeto distinto que puntuar. La investigación sobre ataques de paráfrasis, tratada en ¿se puede detectar de forma fiable el texto generado por IA?, muestra cuánto pueden moverse las puntuaciones.

Qué significa esto con Academic Humanizer

Como detectores de este tipo reaccionan a lo previsible que es cada tramo de texto, un borrador mayoritariamente humano puede contener aun así unas pocas frases que se leen como de máquina. Academic Humanizer se centra justo en esas: encuentra las frases que marcan los detectores, reescribe solo esas conservando tu argumento, tus datos, tus citas y tus términos, y deja intactas todas las demás. Después, el informe de detección de IA compara la versión original y la revisada con la misma medida, para que puedas revisar cada cambio, y aun así conviene consultar la política de IA de tu institución o revista antes del envío.