¿Cómo funcionan los detectores de IA? Y por qué marcan tu texto

Los detectores de IA funcionan midiendo lo previsible que le parece un texto a un modelo de lenguaje, no leyendo su sentido, y por eso también tu propio texto puede salir como IA. Algunos usan estadísticas sencillas como la perplejidad y la burstiness (variabilidad), otros un clasificador entrenado con ejemplos etiquetados, y unos pocos marcas de agua ocultas insertadas en el texto al generarlo. Ninguno sabe quién escribió el texto. Juzgan si su patrón se parece a la salida de una máquina.

Cada método tiene un punto débil distinto, y casi todos comparten uno: la prosa cuidadosa, formal y convencional es previsible por diseño. Por eso una sección de métodos bien editada puede puntuar más cerca de "IA" que una entrada de blog desordenada. Así funcionan los principales enfoques, esto dice la investigación sobre sus límites y por eso la escritura académica queda tan cerca de la línea de decisión.

La señal central: ¿cuánto se sorprende el modelo?

Un modelo de lenguaje asigna una probabilidad a cada posible palabra siguiente (más exactamente, a cada token siguiente). Cuando un modelo genera texto, tiende a elegir tokens de alta probabilidad, porque eso es lo que implica muestrear de él. Quien escribe no está sujeto a esa regla. Elegimos un verbo poco habitual, retomamos un detalle de tres páginas atrás o rompemos un patrón para dar énfasis.

La perplejidad convierte esto en un número. Pasa un fragmento por un modelo, pregunta lo probable que era cada token dado lo anterior y promedia el resultado. Una perplejidad baja significa que al modelo le resultó fácil predecir el texto. Una perplejidad alta significa que no dejaba de sorprenderse. La explicación del propio GPTZero define la perplejidad en términos parecidos y trata las puntuaciones altas como señal de autoría humana (GPTZero).

The results of this study suggest that soil moisture plays an important role in seedling survival, though only after the second frost.

Verde: tokens que el modelo esperaba. Neutro: palabras del tema. Rojo: tokens que el modelo consideró improbables. La primera mitad se lee como una plantilla; la matización final es lo que nota un lector humano, y también un detector.

Esta idea es anterior a ChatGPT. GLTR, una herramienta de 2019 de investigadores de Harvard e IBM, coloreaba cada palabra según su posición en las predicciones de un modelo para que las personas pudieran detectar texto generado. En su estudio, la visualización elevó la tasa de detección de lectores sin formación del 54 % al 72 % (Gehrmann et al., ACL 2019 demo).

Burstiness: la variación entre frases

La perplejidad se mide sobre tokens. La burstiness mira un nivel más arriba: cuánto cambia la previsibilidad de una frase a otra. La prosa humana tiende a alternar. Una frase declarativa corta, luego una frase larga con dos subordinadas y un paréntesis, luego un fragmento. El texto generado suele mantener un ritmo más regular, con frases de longitud y estructura parecidas.

Un detector que sigue la burstiness se pregunta si el fragmento tiene esos picos y valles. Los perfiles planos empujan la puntuación hacia "IA". El problema es que muchos géneros son planos a propósito. Los resúmenes, las descripciones de protocolos y los textos legales o normativos premian las frases uniformes.

La perplejidad y la burstiness son fáciles de explicar, y por eso dominan los artículos divulgativos. Pero ya no lo explican todo. El propio GPTZero dice que pasó a una arquitectura de aprendizaje profundo y que ahora trata estas dos medidas como una parte de sus indicadores, no como el método principal.

Clasificadores entrenados

La mayoría de los detectores comerciales actuales son clasificadores supervisados. Un equipo reúne grandes conjuntos de texto escrito por personas y por máquinas, los etiqueta y ajusta una red neuronal para distinguirlos. La red aprende lo que separe ambos montones: elección de palabras, frecuencia de expresiones, hábitos de puntuación, forma de los párrafos y patrones que nadie ha nombrado.

Los clasificadores pueden ser muy precisos con textos parecidos a sus datos de entrenamiento. Ghostbuster, un sistema de investigación que alimenta un clasificador con rasgos de varios modelos de lenguaje más débiles, informó de 99,0 de F1 entre dominios en su benchmark (Verma et al., NAACL 2024). El problema es la deriva. Un clasificador entrenado con una generación de modelos, un conjunto de géneros y una configuración de decodificación puede fallar cuando cualquiera de esas cosas cambia. El benchmark RAID, con más de 6 millones de generaciones de 11 modelos, 8 dominios y 11 ataques adversarios, encontró que los detectores se engañan fácilmente con cambios en la estrategia de muestreo, modelos no vistos y ataques sencillos (Dugan et al., ACL 2024).

La advertencia más clara vino de OpenAI. Su propio clasificador de texto de IA, lanzado en enero de 2023, identificó correctamente solo el 26 % del texto escrito por IA de su conjunto de prueba y etiquetó mal el 9 % del texto humano. OpenAI lo retiró en julio de 2023 alegando su baja precisión (OpenAI).

Métodos estadísticos zero-shot

Una segunda familia de detectores prescinde por completo del entrenamiento. Estos métodos zero-shot usan las probabilidades del propio modelo de lenguaje para examinar un fragmento.

DetectGPT, de Stanford, se basa en una observación: el texto muestreado de un modelo tiende a situarse en un pico local de la log-probabilidad de ese modelo. Si cambias unas pocas palabras con un segundo modelo (los autores usaron T5), el texto de máquina pierde probabilidad rápidamente, mientras que el texto humano cambia de forma menos previsible. Con noticias falsas de un modelo de 20.000 millones de parámetros, DetectGPT alcanzó 0,95 de AUROC frente a 0,81 del mejor método de referencia zero-shot (Mitchell et al., ICML 2023).

• Fragmento generado por máquina
• Fragmento escrito por una persona

Forma ilustrativa, basada en el método descrito por Mitchell et al. (2023)

DetectGPT es costoso, ya que puntúa muchas copias perturbadas de cada fragmento. Fast-DetectGPT sustituyó el paso de perturbación por una estimación por muestreo más barata e informó de una mejora relativa de alrededor del 75 % y una aceleración de 340x (Bao et al., ICLR 2024). Binoculars compara cómo puntúan el mismo texto dos modelos estrechamente relacionados e informó de que detectaba más del 90 % de las muestras de ChatGPT con una tasa de falsos positivos del 0,01 % sin entrenar con datos de ChatGPT (Hans et al., ICML 2024).

Marcas de agua

Las marcas de agua trasladan la detección al momento de la generación. En el esquema propuesto por Kirchenbauer y sus colegas, el modelo divide su vocabulario en listas "verde" y "roja" en cada paso usando un hash del token anterior, y luego inclina el muestreo hacia los tokens verdes. Un detector que conoce la regla de hash cuenta los tokens verdes y aplica una prueba estadística. El texto humano queda cerca del azar; el texto con marca de agua tiene demasiados verdes (Kirchenbauer et al., ICML 2023).

Las marcas de agua solo funcionan si el modelo que escribió el texto aplicó una, y solo para detectores que conocen la clave. Además, se debilitan con una edición intensa. Krishna et al. mostraron que un parafraseador entrenado redujo la tasa de detección de DetectGPT del 70,3 % al 4,6 % con una tasa de falsos positivos del 1 %, y que la detección de marcas de agua también empeoró (Krishna et al., NeurIPS 2023). Así que, en la práctica, los detectores que usan tu universidad o tu revista son clasificadores y puntuadores estadísticos, no lectores de marcas de agua.

Puntuación por frase frente a puntuación por documento

Los detectores informan con distinta granularidad. Algunos devuelven una sola probabilidad para todo el documento. Otros puntúan cada frase o ventana corta, resaltan las sospechosas y luego las agregan en un porcentaje. Turnitin, por ejemplo, resalta frases y ha descrito en su propia documentación una tasa de falsos positivos a nivel de frase de alrededor del 4 % (Turnitin).

La puntuación por frase es más informativa pero más ruidosa. Una frase tiene pocos tokens, así que su estimación de perplejidad es inestable. La puntuación por documento es más estable pero oculta dónde está el problema. Tratamos este equilibrio en detalle en detección de IA a nivel de frase, y por qué discrepan las distintas herramientas en por qué los detectores de IA no coinciden.

Por qué la prosa académica formal queda cerca del límite

Todos los métodos anteriores premian la sorpresa y penalizan la convención. La escritura académica se basa en la convención. Las disciplinas estandarizan su redacción para que los lectores puedan recorrer los artículos con rapidez: "Participants were randomly assigned to", "These findings are consistent with", "Further research is needed to". Las guías de estilo desaconsejan los adornos. Quienes escriben en una segunda lengua a menudo recurren a un vocabulario más reducido y seguro. Todo eso reduce la perplejidad.

La evidencia más clara viene de Liang et al., en Stanford. Pasaron siete detectores por ensayos TOEFL escritos por hablantes no nativos de inglés y por ensayos de estudiantes estadounidenses de octavo grado. Los detectores fueron casi perfectos con los ensayos de nativos, pero clasificaron erróneamente como IA los ensayos TOEFL un 61,3 % de las veces de media. Cuando los investigadores usaron ChatGPT para enriquecer el vocabulario de esos mismos ensayos, la tasa media de falsos positivos bajó al 11,6 % (Liang et al., Patterns 2023).

• Ensayos originales61,3 %
• Tras enriquecer el vocabulario11,6 %

Fuente: Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

La lección no es que los detectores sean inútiles. Es que sus puntuaciones reflejan el estilo tanto como la autoría. Un investigador cuidadoso que escribe en un inglés sencillo y disciplinado puede caer del lado equivocado de la línea sin que intervenga ninguna IA. Analizamos este efecto con más detalle en nuestro repaso del estudio de Liang y en por qué la prosa formal puede parecer escrita por IA. Para técnicas de revisión que mantienen intactas tus propias ideas, consulta cómo evitar el detector de IA en la escritura académica.

Dónde encaja Academic Humanizer

Academic Humanizer se creó para ese último problema. Humanizer analiza un borrador frase por frase, reescribe solo las frases que marcan los detectores y deja el resto exactamente como lo escribiste, conservando tu argumento, tus cifras, tus citas y tu terminología. El informe de detección de IA integrado muestra cada frase marcada junto a su reescritura y compara ambas versiones, y los resultados se comprueban frente a detectores como Turnitin, GPTZero y Originality.ai. Antes de usar cualquier herramienta en un trabajo que vayas a entregar, consulta la política de IA de tu institución o revista, y lee tú mismo el resultado antes de enviarlo a ninguna parte.