¿Detectan la IA en una revisión bibliográfica? Prueba real con citas

¿Detectan los detectores de IA una revisión bibliográfica redactada con IA? En nuestra prueba lo hicieron sin excepción: los cinco modelos detectores votaron IA en el borrador y las ocho frases quedaron marcadas. El párrafo procedía de investigación educativa, y lo pasamos por Humanizer v2. Tras el proceso, cuatro de los cinco modelos votaron humano, todas las frases se leían como humanas y los cuatro grupos de citas salieron intactos.

Las citas sobrevivieron. Algunas de las afirmaciones asociadas a ellas no sobrevivieron sin cambios, y esa es la parte que conviene leer con atención.

Por qué se marca la prosa de las revisiones de literatura

Un párrafo de revisión de literatura tiene una forma predecible: el campo crece, los estudios muestran beneficios, los efectos varían, importa una línea de trabajo más reciente, queda una laguna, hace falta investigar. Los modelos de lenguaje reproducen esa forma con soltura y la adornan siempre con los mismos conectores. Nuestro borrador empezaba frases con "In recent years", "However", "For instance", "Moreover", "Despite these advances" y "Consequently", y usaba "garnered considerable attention" y "a pressing need".

In recent years, the integration of formative assessment practices into higher education has garnered considerable attention from researchers and practitioners alike. Numerous studies have highlighted the potential of formative feedback to enhance student learning outcomes, foster self-regulated learning, and promote deeper engagement with course content (Black & Wiliam, 1998; Nicol & Macfarlane-Dick, 2006). However, the effectiveness of such practices is not uniform across contexts. For instance, Hattie and Timperley (2007) emphasized that the impact of feedback depends heavily on its focus, timing, and the extent to which it addresses the gap between current and desired performance. Moreover, recent scholarship has increasingly recognized the role of student feedback literacy in determining whether feedback is actually used (Carless & Boud, 2018). Despite these advances, a notable gap remains in understanding how large-enrollment courses can implement formative assessment at scale without overburdening instructors. This gap is particularly salient in the context of introductory STEM courses, where class sizes frequently exceed several hundred students. Consequently, there is a pressing need for research that examines scalable, technology-supported approaches to formative feedback in such settings.

Análisis real de nuestra prueba. Las ocho frases se marcaron como IA.

Incluso la frase corta y sencilla "However, the effectiveness of such practices is not uniform across contexts" quedó marcada. Los detectores leen el ritmo de un párrafo además de su vocabulario, y una sucesión de frases construidas de forma uniforme empuja a cada una de ellas hacia el lado de la IA.

El proceso

1. Búsqueda de señales de IAOcho de ocho frases marcadas; los cinco modelos votaron IA.
2. Reescritura de las frases marcadasSe reescribieron las ocho frases y las citas pasaron a cada nueva frase.
3. Nueva comprobación con detectores de IAAhora ocho de ocho frases se leen como humanas; cuatro de cinco modelos votan humano.
4. Guardado del resultado1.320 caracteres a 500 caracteres por crédito, redondeando hacia arriba: 3 créditos.

• Párrafo redactado con IA5 de 5
• Resultado de Humanizer v21 de 5

Fuente: proceso de producción de Humanizer v2. El veredicto del informe pasó de generado por IA a escrito por humanos.

¿Sobrevivieron las citas?

Todas, carácter por carácter. Eso importa más en una revisión que en cualquier otra parte, porque un año alterado o un coautor perdido es el tipo de error que cuesta credibilidad ante un revisor que conoce el campo.

Así que las referencias están a salvo. Donde tienes que mirar es en la atribución: una cita es una promesa de que la obra citada dice lo que tu frase afirma que dice. Si un detector marca la propia lista de referencias, el problema es otro, y lo tratamos en por qué Turnitin marca como IA las referencias y las citas.

Cómo cambió la cautela

El lenguaje cauteloso en una revisión de literatura no es adorno. "Highlighted the potential" (destacaron el potencial) y "shown the efficacy" (demostraron la eficacia) hacen afirmaciones distintas sobre la evidencia, y un lector de tu campo notará cuál elegiste.

Antes

Numerous studies have highlighted the potential of formative feedback to enhance student learning outcomes, foster self-regulated learning, and promote deeper engagement with course content (Black & Wiliam, 1998; Nicol & Macfarlane-Dick, 2006). For instance, Hattie and Timperley (2007) emphasized that the impact of feedback depends heavily on its focus, timing, and the extent to which it addresses the gap between current and desired performance. Moreover, recent scholarship has increasingly recognized the role of student feedback literacy in determining whether feedback is actually used (Carless & Boud, 2018).

Después

Many studies have shown the efficacy of formative feedback in improving student learning, facilitating self-regulated learning and enhancing students’ engagement with the course material (Black & Wiliam, 1998; Nicol & Macfarlane-Dick, 2006). Hattie and Timperley (2007), for example, found that the effectiveness of feedback varies based on its focus, timing, and whether it highlights the gap between current and desired performance. More recently, there has been a growing literature that links feedback effectiveness to the ability of students to interpret feedback (Carless & Boud, 2018).

Leídos como lo haría un revisor, los cambios se agrupan en tres tipos.

• Afirmaciones más fuertes. "Highlighted the potential" se convirtió en "shown the efficacy". La redacción del borrador era más prudente, y la prudencia suele ser la posición más segura al resumir un conjunto de trabajos.
• Verbos de atribución distintos. El artículo de Hattie y Timperley es una revisión que construye un modelo de la retroalimentación. "Emphasized" (subrayaron) encaja con eso; "found" (encontraron) sugiere un resultado empírico. Y una retroalimentación que "addresses" la brecha no es lo mismo que una que la "highlights": una la cierra y la otra la señala.
• Un término perdido. "Student feedback literacy" es el concepto por el que se conoce a Carless y Boud. La reescritura lo parafrasea como la "ability to interpret feedback" de los estudiantes, y "whether feedback is actually used" (si la retroalimentación se aprovecha de verdad) pasó a ser interpretación. Un autor que cite ese artículo querría recuperar el término.

Qué cambió en la formulación de la laguna

Las tres últimas frases sostienen el argumento del párrafo: esto es lo que falta, aquí es donde importa, esto es lo que se necesita. Cambiaron dos detalles.

• "Class sizes frequently exceed several hundred students" se convirtió en "many classes have over a hundred students". Es un debilitamiento factual. Si tu motivación se apoya en grupos muy numerosos, recupera la frase original.
• "How large-enrollment courses can implement formative assessment at scale without overburdening instructors" se convirtió en una falta de investigación sobre la implementación "in large enrolling courses". Desaparece el ángulo de la carga de trabajo docente, que es la verdadera laguna, y "large enrolling courses" suena forzado.

Hay además cierta ironía. La reescritura introdujo "one crucial limitation" y "significant differences", dos expresiones que los editores cuidadosos recortan. "Significant", en particular, puede leerse como una afirmación estadística en un artículo de educación. Aun así, los detectores leyeron las frases como humanas, lo que demuestra que el análisis y el estilo de la revista son juicios distintos.

Una rutina de revisión para revisiones de literatura humanizadas

1. Comprueba cada cita con tu gestor de referencias: autores, año, puntuación.
2. En cada frase con cita, pregúntate si la obra citada dice realmente lo que afirma la nueva versión. Presta especial atención a los verbos: found, showed, argued, emphasized, suggested.
3. Recupera los términos del campo que se hayan parafraseado. Los conceptos con nombre propio son lo que conecta tu revisión con la literatura.
4. Compara las cantidades y las palabras de alcance ("several hundred", "at scale", "without overburdening instructors").
5. Revisa la política sobre IA de tu institución o de la revista antes de enviar.

Nuestras guías sobre hábitos de citación en la investigación asistida por IA y sobre cómo mantener intacta la terminología académica profundizan en cada paso.

En qué punto te deja esto

En cuanto a la detección, este proceso hizo lo que querría quien escribe una revisión de literatura: ocho frases marcadas pasaron a ser ocho frases leídas como humanas, y las citas salieron intactas. En cuanto al significado, produjo un borrador que necesita una edición puntual de unas cinco expresiones. Es un intercambio razonable, siempre que esa edición se haga.

Academic Humanizer está diseñado en torno a esa edición. El AI Detection Report alinea cada frase original con su reescritura para que puedas comprobar la atribución y la cautela par por par, en lugar de comparar dos párrafos a ojo.