Detecção de IA na seção de métodos: por que o Humanizer não mexeu

A seção de métodos se comporta de outro jeito diante da detecção de IA. Passamos pelo Humanizer v2 uma seção de métodos de psicologia redigida com IA, esperando uma lista de frases sinalizadas. Em vez disso, todas as frases voltaram como inconclusivas, o veredito do relatório foi "escrito por humano" e o Humanizer v2 não mudou nada nem cobrou nada.

Os detectores, porém, não concordaram entre si: três dos cinco modelos votaram IA e dois votaram humano. Este post explica o que essa divisão significa, por que a prosa de métodos a provoca e o que o autor deve concluir de um processamento que deixa o texto como está.

O texto

O rascunho descreve um experimento 2 x 2 entre sujeitos sobre enquadramento da mensagem e credibilidade da fonte. Ele é denso nos detalhes que as diretrizes de relato exigem: critérios de elegibilidade, tamanho da amostra e exclusões, dados demográficos, delineamento, randomização, materiais, medidas com seus índices de confiabilidade, compensação e aprovação ética. Veja como a análise frase a frase o leu.

Participants were recruited through an online research platform and were required to be fluent in English and between 18 and 65 years of age. A total of 412 individuals completed the study, of whom 23 were excluded for failing two or more attention checks, resulting in a final sample of 389 participants (M age = 34.7, SD = 11.2; 52% female). The study employed a 2 x 2 between-subjects design, with message framing (gain vs. loss) and source credibility (high vs. low) as independent variables. Participants were randomly assigned to one of the four conditions using the platform's built-in randomization feature. After providing informed consent, participants read a short article about the benefits of regular physical activity, which was manipulated according to the assigned condition. Subsequently, they completed a series of validated measures, including the 7-item Intentions to Exercise Scale (alpha = .89) and a 5-item perceived credibility scale (alpha = .91). Finally, participants were debriefed and compensated with $2.50 for their time. The study protocol was approved by the university's Institutional Review Board, and all procedures were conducted in accordance with the Declaration of Helsinki.

Análise real do nosso processamento de teste. As oito frases foram inconclusivas: cada uma pendeu levemente para IA, mas nenhuma foi sinalizada.

Oito frases, oito marcações em âmbar. Nenhuma foi lida com segurança como IA, e nenhuma foi lida com segurança como humana.

O que o Humanizer v2 fez

1. Busca por sinais de IAAs oito frases inconclusivas; nenhuma sinalizada.
2. Reescrita das frases sinalizadasSem frases sinalizadas, nenhuma frase mudou.
3. Nova verificação com detectores de IAMesmo texto, mesmo resultado: escrito por humano, com três de cinco modelos votando IA.
4. Salvamento do resultadoNenhuma mudança custa 0 créditos; caso contrário, 1.214 caracteres custariam 3.

O Humanizer v2 reescreve as frases que os detectores sinalizam. Inconclusivo não é sinalizado, então nada se enquadrou. O resultado é igual ao texto enviado, caractere por caractere.

• Seção de métodos redigida com IA3 de 5
• Resultado do Humanizer v2 (sem alterações)3 de 5

Fonte: processamento de produção do Humanizer v2. Veredito do relatório nos dois casos: escrito por humano.

Por que a prosa de métodos se comporta assim

Os detectores procuram textos mais previsíveis do que as pessoas costumam escrever. A seção de métodos quebra essa premissa, porque ela deve ser previsível. Alguns motivos pelos quais este texto fica no meio do caminho:

• Humanos também escrevem métodos a partir de modelos prontos. "Participants were randomly assigned to one of the four conditions" e "approved by the university's Institutional Review Board" são frases que milhares de pesquisadores humanos já escreveram quase palavra por palavra. As diretrizes de relato empurram todo mundo para a mesma estrutura. Quando texto humano e texto de máquina convergem para a mesma redação, o detector tem pouco para separá-los.
• Números e notações quebram a prosa. "M age = 34.7, SD = 11.2; 52% female" e "alpha = .89" não são a linguagem fluida e encadeada com que os detectores são calibrados. Eles diluem qualquer sinal de estilo que as palavras ao redor carreguem.
• Há pouca inflação retórica. O rascunho tem alguns hábitos de máquina ("employed", "Subsequently", "a series of validated measures"), mas não faz afirmações sobre importância nem usa "comprehensive" ou "underscore". Foram expressões assim que levaram cada frase do nosso estudo de caso com um resumo para a coluna das sinalizadas.

O voto dividido se encaixa nesse quadro. Três dos cinco modelos penderam para IA no texto todo, dois não, e nenhuma frase isolada deu à verificação frase a frase material suficiente para decidir. Para entender melhor por que os modelos discordam justamente nesse tipo de texto, veja por que os detectores de IA discordam e detecção de IA frase a frase.

Todos os números ficaram exatamente onde estavam

Para uma seção de métodos, um processamento sem nenhuma mudança é o resultado mais seguro possível. Nada foi reescrito, então nada podia sair do lugar:

Compare isso com uma ferramenta que parafraseia tudo. Uma seção de métodos tem talvez uma dúzia de números que não podem mudar, e uma reescrita completa dá a cada um deles a chance de ser arredondado, reordenado ou ligado à variável errada. Nosso post sobre como preservar o sentido e as citações lista o que conferir se um parágrafo de métodos acabar sendo reescrito.

O que este resultado diz e o que não diz

Este rascunho foi escrito com IA, e o relatório o classificou como escrito por humano. Vale dizer isso com todas as letras, porque tem implicações nos dois sentidos.

• O veredito de um detector não prova autoria. Detectores estimam como um texto soa. Eles deixam passar parte dos textos de máquina e sinalizam parte dos textos humanos, sobretudo em gêneros convencionais como a seção de métodos. Veja é possível detectar texto gerado por IA de forma confiável?
• A declaração de uso é outra questão. Se você precisa declarar o uso de IA depende da política da sua revista ou instituição, e não do que um detector diz. Um veredito de "escrito por humano" não muda essa obrigação. Confira a política antes de submeter.
• Os detalhes continuam sendo responsabilidade do autor. A redação com IA pode produzir detalhes plausíveis, mas errados: um coeficiente de confiabilidade de outro estudo, uma declaração ética que não bate com a sua aprovação real. Confira cada valor nos seus registros, digam o que disserem os detectores.

Se quiser editar mesmo assim, pequenas mudanças manuais bastam: "used" no lugar de "employed", "Then" no lugar de "Subsequently". Depois, verifique de novo; a próxima análise vai mostrar se algo mudou.

A lição para seções de métodos

A prosa de métodos é a parte do artigo em que a redação com IA causa menos dano de estilo e em que a reescrita traz mais risco factual. Neste processamento, o Humanizer v2 reconheceu que nada foi sinalizado, deixou as oito frases como estavam e não cobrou nada. Para ver como se comportam as outras seções de um trabalho, leia o nosso guia seção por seção sobre artigos científicos e detecção de IA.

É assim que a Academic Humanizer deve se comportar: analisar primeiro, reescrever só as frases sinalizadas e mostrar o resultado no AI Detection Report, incluindo as inconclusivas, para que você decida o que, se for o caso, merece a sua atenção.