Detector de IA em revisão de literatura: teste real com citações

Os detectores de IA pegam uma revisão de literatura redigida com IA? No nosso teste, pegaram, sem exceção: os cinco modelos de detecção votaram IA no rascunho e as oito frases foram marcadas. O parágrafo veio de pesquisa em educação, e o passamos pelo Humanizer v2. Depois da execução, quatro de cinco modelos votaram humano, todas as frases foram lidas como humanas e os quatro grupos de citações saíram intactos.

As citações sobreviveram. Algumas das afirmações ligadas a elas não sobreviveram sem mudanças, e é essa a parte que merece leitura atenta.

Por que a prosa de revisão de literatura é sinalizada

Um parágrafo de revisão de literatura tem um formato previsível: a área está crescendo, estudos mostram benefícios, os efeitos variam, uma vertente mais recente importa, ainda há uma lacuna, é preciso pesquisar. Os modelos de linguagem reproduzem esse formato com fluência e o enfeitam sempre com os mesmos conectivos. Nosso rascunho abria frases com "In recent years", "However", "For instance", "Moreover", "Despite these advances" e "Consequently", e usava "garnered considerable attention" e "a pressing need".

In recent years, the integration of formative assessment practices into higher education has garnered considerable attention from researchers and practitioners alike. Numerous studies have highlighted the potential of formative feedback to enhance student learning outcomes, foster self-regulated learning, and promote deeper engagement with course content (Black & Wiliam, 1998; Nicol & Macfarlane-Dick, 2006). However, the effectiveness of such practices is not uniform across contexts. For instance, Hattie and Timperley (2007) emphasized that the impact of feedback depends heavily on its focus, timing, and the extent to which it addresses the gap between current and desired performance. Moreover, recent scholarship has increasingly recognized the role of student feedback literacy in determining whether feedback is actually used (Carless & Boud, 2018). Despite these advances, a notable gap remains in understanding how large-enrollment courses can implement formative assessment at scale without overburdening instructors. This gap is particularly salient in the context of introductory STEM courses, where class sizes frequently exceed several hundred students. Consequently, there is a pressing need for research that examines scalable, technology-supported approaches to formative feedback in such settings.

Análise real do nosso processamento de teste. As oito frases foram sinalizadas como IA.

Até a frase curta e simples "However, the effectiveness of such practices is not uniform across contexts" (no entanto, a eficácia dessas práticas não é uniforme entre contextos) foi sinalizada. Os detectores leem o ritmo de um parágrafo, e não só o vocabulário, e uma sequência de frases construídas de maneira uniforme puxa cada uma delas para o lado da IA.

O processamento

1. Busca por sinais de IAOito de oito frases sinalizadas; os cinco modelos votaram IA.
2. Reescrita das frases sinalizadasAs oito frases foram reescritas, com as citações levadas para cada nova frase.
3. Nova verificação com detectores de IAOito de oito frases agora são lidas como humanas; quatro de cinco modelos votam humano.
4. Salvamento do resultado1.320 caracteres a 500 caracteres por crédito, arredondado para cima: 3 créditos.

• Parágrafo redigido com IA5 de 5
• Resultado do Humanizer v21 de 5

Fonte: processamento de produção do Humanizer v2. O veredito do relatório passou de "gerado por IA" para "escrito por humano".

As citações sobreviveram?

Todas, caractere por caractere. Isso importa mais numa revisão do que em qualquer outro lugar, porque um ano trocado ou um coautor perdido é o tipo de erro que custa credibilidade diante de um parecerista que conhece a área.

Ou seja, as referências estão seguras. É na atribuição que você precisa prestar atenção: uma citação é a promessa de que a obra citada diz o que a sua frase afirma que ela diz. Se um detector marca a própria lista de referências, o problema é outro, tratado em por que o Turnitin marca referências e citações como IA.

Como as ressalvas mudaram

As ressalvas (o chamado hedging) numa revisão de literatura não são enfeite. "Highlighted the potential" (destacaram o potencial) e "shown the efficacy" (demonstraram a eficácia) fazem afirmações diferentes sobre as evidências, e um leitor da sua área vai perceber qual das duas você escolheu.

Antes

Numerous studies have highlighted the potential of formative feedback to enhance student learning outcomes, foster self-regulated learning, and promote deeper engagement with course content (Black & Wiliam, 1998; Nicol & Macfarlane-Dick, 2006). For instance, Hattie and Timperley (2007) emphasized that the impact of feedback depends heavily on its focus, timing, and the extent to which it addresses the gap between current and desired performance. Moreover, recent scholarship has increasingly recognized the role of student feedback literacy in determining whether feedback is actually used (Carless & Boud, 2018).

Depois

Many studies have shown the efficacy of formative feedback in improving student learning, facilitating self-regulated learning and enhancing students’ engagement with the course material (Black & Wiliam, 1998; Nicol & Macfarlane-Dick, 2006). Hattie and Timperley (2007), for example, found that the effectiveness of feedback varies based on its focus, timing, and whether it highlights the gap between current and desired performance. More recently, there has been a growing literature that links feedback effectiveness to the ability of students to interpret feedback (Carless & Boud, 2018).

Lidas como um parecerista leria, as mudanças se dividem em três grupos.

• Afirmações mais fortes. "Highlighted the potential" virou "shown the efficacy". A redação do rascunho era mais cautelosa, e a cautela costuma ser a posição mais segura ao resumir um conjunto de trabalhos.
• Verbos de atribuição diferentes. O artigo de Hattie e Timperley é uma revisão que constrói um modelo de feedback. "Emphasized" (enfatizaram) combina com isso; "found" (constataram) sugere um resultado empírico. E um feedback que "addresses" a lacuna não é o mesmo que um feedback que a "highlights": um fecha a lacuna, o outro só aponta para ela.
• Um termo perdido. "Student feedback literacy" é o conceito pelo qual Carless e Boud são conhecidos. A reescrita o parafraseia como "ability to interpret feedback" (capacidade de interpretar o feedback), e "whether feedback is actually used" (se o feedback é de fato usado, ou seja, a apropriação) virou interpretação. Um autor que cita esse artigo ia querer o termo de volta.

O que mudou na formulação da lacuna

As três últimas frases carregam o argumento do parágrafo: isto é o que falta, é aqui que importa, é disto que precisamos. Dois detalhes mudaram.

• "Class sizes frequently exceed several hundred students" (as turmas muitas vezes passam de várias centenas de alunos) virou "many classes have over a hundred students" (muitas turmas têm mais de cem alunos). Isso enfraquece um fato. Se a sua motivação depende de turmas muito grandes, restaure a formulação original.
• "How large-enrollment courses can implement formative assessment at scale without overburdening instructors" virou uma falta de pesquisa sobre implementação "in large enrolling courses". O ângulo da carga de trabalho dos professores, que é a lacuna de fato, sumiu, e "large enrolling courses" soa estranho.

Há também uma ironia. A reescrita introduziu "one crucial limitation" e "significant differences", duas expressões que editores cuidadosos costumam cortar. "Significant", em especial, pode ser lido como uma afirmação estatística num artigo de educação. Mesmo assim, os detectores leram as frases como humanas, o que mostra que a análise de detecção e o estilo editorial são julgamentos separados.

Uma rotina de revisão para revisões de literatura humanizadas

1. Confira cada citação no seu gerenciador de referências: autores, ano, pontuação.
2. Para cada frase com citação, pergunte se a obra citada realmente diz o que a nova versão afirma. Dê mais atenção aos verbos: found, showed, argued, emphasized, suggested.
3. Restaure os termos da área que foram parafraseados. Conceitos com nome próprio são o que liga a sua revisão à literatura.
4. Compare quantidades e palavras de alcance ("several hundred", "at scale", "without overburdening instructors").
5. Confira a política de IA da sua instituição ou da revista antes de submeter.

Nossos guias sobre hábitos de citação na pesquisa com apoio de IA e sobre como manter a terminologia acadêmica intacta aprofundam cada etapa.

Em que pé você fica

Na detecção, este processamento fez o que quem escreve uma revisão de literatura gostaria: oito frases sinalizadas passaram a ser lidas como humanas, e as citações saíram intactas. No sentido, gerou um rascunho que precisa de uma edição focada em talvez cinco expressões. É uma troca razoável, desde que a edição aconteça.

A Academic Humanizer foi construída em torno dessa edição. O AI Detection Report alinha cada frase original com a sua reescrita, para que você confira atribuição e ressalvas par a par, em vez de comparar dois parágrafos a olho.