¿Son fiables los detectores de IA? Un estudio de 14 herramientas

¿Son fiables los detectores de IA? No mucho, según una de las pruebas públicas mejor documentadas hasta la fecha. En 2023, ocho investigadores en integridad académica escribieron textos originales, generaron otros con ChatGPT, editaron y parafrasearon algunos de ellos y enviaron los 54 documentos a 14 detectores. Ninguno llegó al 80 % de precisión. La conclusión, publicada en el International Journal for Educational Integrity, fue tajante: las herramientas no eran "neither accurate nor reliable" (ni precisas ni fiables).

Este artículo explica cómo se diseñó el estudio, qué muestran realmente las cifras y por qué su lección más útil para los investigadores es más concreta y práctica que "los detectores no sirven". La puntuación de un detector es una señal. No es una prueba.

Cómo se diseñó el estudio

La fortaleza de este artículo es su conjunto de prueba. Nueve investigadores (los ocho autores más un colaborador) prepararon seis documentos cada uno, de modo que en cada caso se conocía la verdad de partida. Los textos humanos, de unos 10.000 caracteres, se escribieron desde cero, con un nivel aproximado de grado universitario, en campos como ingeniería civil, informática, economía, historia, lingüística y literatura. Ninguno había estado nunca en internet, lo que descarta que un modelo los hubiera visto durante su entrenamiento.

Los detectores fueron Check For AI, Compilatio, Content at Scale, Crossplag, DetectGPT, Go Winston, GPT Zero, la demo del GPT-2 Output Detector, el OpenAI Text Classifier, PlagiarismCheck, Turnitin, Writeful GPT Detector, Writer y ZeroGPT. Doce eran herramientas web gratuitas; Turnitin y PlagiarismCheck eran sistemas comerciales que dieron acceso al equipo. En total fueron 756 pruebas individuales, realizadas entre marzo y mayo de 2023.

Como las herramientas dan probabilidades en lugar de un sí o un no, los autores trasladaron cada resultado a una escala de cinco niveles y calcularon la precisión de tres formas distintas. La clasificación de las herramientas apenas cambió entre métodos, lo que hace más difícil descartar los resultados como un artefacto de la puntuación.

El titular: ninguna herramienta llegó al 80 %

Todas las herramientas quedaron por debajo del 80 % de precisión, y solo cinco superaron el 70 %: Turnitin, Compilatio, el GPT-2 Output Detector, Crossplag y Go Winston. Turnitin quedó primero con los tres métodos de puntuación. Que el GPT-2 Output Detector quedara tercero sorprendió a los autores, ya que nunca se entrenó con salidas de GPT-3.5.

• Turnitin76 %
• Compilatio74 %
• GPT-2 Output Detector Demo72 %
• GPT Zero54 %
• PlagiarismCheck39 %
• Content at Scale33 %

Fuente: Weber-Wulff et al. 2023, tabla 5 (enfoque binario, 54 documentos por herramienta).

Sin embargo, una cifra de precisión global oculta la mayor parte de la historia. Lo interesante es dónde falló cada herramienta.

Dónde se desplomó la precisión

Como media entre herramientas y métodos de puntuación, el inglés escrito por personas se clasificó correctamente el 96 % de las veces. El texto de ChatGPT sin editar se quedó en el 74 %. A partir de ahí, las cifras cayeron rápidamente.

• Escrito por personas (01-Hum)96 %
• ChatGPT, sin editar (03/04-AI)74 %
• ChatGPT, editado a mano (05-ManEd)42 %
• ChatGPT, parafraseado automáticamente (06-Para)26 %

Fuente: Weber-Wulff et al. 2023, sección 5.1.1 (media de todos los enfoques de precisión).

Traducción automática. Los textos humanos escritos en otro idioma y traducidos automáticamente al inglés se clasificaron correctamente unos 20 puntos menos que los textos originales en inglés. La traducción deja huellas estadísticas que las herramientas interpretan como salida de máquina, aunque todas las ideas vinieran de una persona.

Edición humana ligera. Cambiar sinónimos y reordenar cláusulas, el tipo de repaso rápido que los autores llaman patchwriting, bajó la precisión media al 42 %.

Paráfrasis automática. Una sola pasada por Quillbot hizo caer la precisión al 26 %. La mayoría de los textos de IA parafraseados se leyeron como humanos.

¿Por qué cambios tan superficiales importan tanto? La mayoría de los detectores no leen el significado. Como explicamos en cómo funcionan los detectores de IA, puntúan lo predecible que es cada palabra y lo uniforme que parece el ritmo del texto. Si cambias suficientes palabras, la huella estadística se desplaza mientras el contenido sigue siendo el mismo. Es una fragilidad del detector, no una propiedad de la escritura.

Un sesgo hacia "humano" y el problema de las acusaciones falsas

Con la notable excepción de GPT Zero, todas las herramientas fueron más precisas con el texto humano que con el texto de IA. Los autores lo interpretan como una decisión de diseño probablemente deliberada y sostienen que es la dirección más segura en educación. Aun así, hubo errores en ambos sentidos.

El equipo definió una proporción de acusaciones falsas: el porcentaje de casos escritos por personas en los que el resultado de una herramienta llevaría plausiblemente a un docente a acusar a un estudiante. En los textos originales en inglés, la media entre herramientas fue del 2,4 %. En los textos traducidos automáticamente, del 11,1 %. La mitad de las herramientas nunca produjo una acusación falsa; GPT Zero fue la excepción con un 50 %, y los autores la consideraron inadecuada para el uso académico. Turnitin no tuvo acusaciones falsas en este conjunto.

En el otro lado, alrededor del 20 % de los textos de IA sin editar pasaron desapercibidos de media, y lo mismo ocurrió con cerca de la mitad de los textos ofuscados. El equipo también vio cómo un mismo documento obtenía resultados distintos en días distintos: una prueba de Check For AI indicó riesgo bajo y, cinco días después, riesgo alto. Para quien se enfrenta a una acusación, esa inconsistencia importa tanto como las tasas de error.

El resultado de la traducción merece especial atención por parte de los investigadores internacionales. Escribir en tu primera lengua y traducir tu propio trabajo es una práctica legítima, y aun así aumentó el riesgo de una marca falsa en este estudio. Coincide con los hallazgos que tratamos en Los detectores GPT tienen sesgo contra quienes escriben en inglés como segunda lengua.

Qué recomiendan los autores

Las conclusiones van dirigidas a los docentes y son firmes:

• El resultado de un detector nunca debería ser la única base para denunciar una falta. A diferencia del software de coincidencia de textos, los detectores de IA no aportan ninguna fuente que pueda comprobarse, así que el estudiante no tiene nada concreto que rebatir.
• Una marca puede dar pie a una conversación con el estudiante, no a un veredicto.
• La prevención debe ir antes que la detección: orientaciones claras sobre usos éticos y no éticos de la IA generativa, y evaluaciones rediseñadas para valorar el proceso de escritura por encima del producto final.
• Las instituciones deberían considerar los aspectos de privacidad y legales de subir trabajos de estudiantes a servicios de detección en la nube.

El artículo también es transparente sobre sus límites. Solo probó inglés, un único generador y las herramientas tal como eran a principios de 2023. Los proveedores han actualizado sus productos desde entonces, así que los porcentajes concretos no deben leerse como puntuaciones actuales. Lo que sigue vigente es el método y los patrones de fallo, y trabajos posteriores como el benchmark RAID encontraron el mismo tipo de debilidades a una escala mucho mayor.

Qué significa esto si escribes con ayuda de IA

Si eres investigador o estudiante, se derivan tres puntos prácticos. Primero, comprueba qué permite realmente tu institución o la revista a la que envías, y declara el uso de IA cuando se exija. Segundo, conserva tus borradores, notas e historial de versiones; los autores del estudio insisten en que los detectores no aportan pruebas, y los registros de tu propio proceso son la mejor prueba que puedes tener (consulta cómo el historial de borradores respalda la integridad académica). Tercero, si te marcan, las tasas de error publicadas te dan una base razonable para pedir una revisión humana. Nuestra guía sobre qué hacer si te acusan por error de usar IA trata esa conversación. Si un docente plantea una sospecha, cómo detectan la IA los profesores explica en qué más suelen fijarse además de la puntuación.

Qué papel tiene Academic Humanizer

Estudios como este son la razón de ser de Academic Humanizer: la prosa académica formal y cuidadosamente editada puede quedar muy cerca de la línea que trazan los detectores, y las buenas ideas acaban mal etiquetadas. Humanizer analiza un borrador frase a frase, reescribe solo las frases que marcan los detectores y deja el resto exactamente como lo escribiste, manteniendo intactas tus afirmaciones, cifras y citas. El AI Detection Report integrado muestra cada frase marcada junto a su reescritura y compara ambas versiones con la misma medida, para que veas qué cambió y revises cada línea antes de usarla.