Detector de IA marca inglês de não nativos? Um teste real

Os detectores de IA marcam como IA o inglês escrito por não nativos? A pesquisa publicada diz que muitas vezes sim, mas no nosso teste com o próprio parágrafo de discussão de um pesquisador real, não marcaram. Fraseado formulaico, um repertório limitado de conectivos e padrões de frase de livro-texto são exatamente o que se suspeita que os detectores punam, então testamos um parágrafo escrito à mão por um pesquisador de ciência dos materiais que não tem o inglês como língua nativa, o tipo de texto que motiva essa preocupação.

O resultado foi pouco dramático, e é isso que importa. Quatro dos cinco modelos de detecção o leram como humano, nenhuma frase foi sinalizada, o Humanizer v2 não mudou nada e o processamento não custou nada.

Por que este texto parecia estar em risco

Leia como um detector leria. As frases começam com fórmulas prontas: "In this study, we found that", "It is considered that", "Therefore, it is important to", "These results suggest that". O vocabulário é restrito e repetitivo. A gramática traz as marcas de quem aprendeu inglês como segunda língua: "The reason of this improvement", "the tensile strength was decreased", "for obtaining the best mechanical properties".

A pesquisa por trás dessa preocupação é real. Liang e colegas, em Stanford, passaram redações do TOEFL escritas por falantes não nativos por sete detectores de GPT muito usados e encontraram uma taxa média de falsos positivos de 61,22%. Dessas redações, 97,80% foram sinalizadas como geradas por IA por pelo menos um detector. Resumimos o artigo em detectores de GPT são enviesados contra quem não é falante nativo de inglês.

Então uma previsão justa seria pelo menos algumas frases sinalizadas. Não foi o que aconteceu.

O que os detectores disseram

O veredito do relatório sobre o rascunho foi "escrito por humano". Quatro dos cinco modelos de detecção votaram humano e um votou IA. No nível da frase, as nove frases foram lidas como humanas; nenhuma foi sinalizada e nenhuma ficou inconclusiva.

In this study, we found that the addition of 2 wt% graphene oxide improved the tensile strength of the epoxy composite by 27% compared to the neat epoxy. This result is consistent with the previous studies which reported similar improvement in the range of 20-35%. The reason of this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength was decreased. It is considered that the agglomeration of graphene oxide sheets occurred at higher content, and these agglomerates acted as stress concentration points. This tendency was also confirmed by the SEM images, which showed the clusters of sheets on the fracture surface. Therefore, it is important to optimize the filler content for obtaining the best mechanical properties. In addition, the glass transition temperature was slightly increased from 142 to 147 degrees, which means the mobility of polymer chains was restricted by the graphene oxide. These results suggest that the graphene oxide/epoxy composite can be a promising material for the lightweight structural applications.

Análise real do nosso processamento de teste. As nove frases foram lidas como humanas.

• Parágrafo original1 de 5
• Resultado do Humanizer v2 (sem alterações)1 de 5

Fonte: processamento de produção do Humanizer v2. Mesmo texto, mesmos votos.

O que o Humanizer v2 fez: nada, de propósito

O Humanizer v2 reescreve só as frases que os detectores sinalizam. Sem nenhuma frase sinalizada, não havia o que reescrever, então o resultado é o próprio texto enviado, caractere por caractere.

1. Busca por sinais de IANove frases analisadas; nenhuma sinalizada, todas lidas como humanas.
2. Reescrita das frases sinalizadasNada a reescrever, então nenhuma frase mudou.
3. Nova verificação com detectores de IAMesmo texto, mesmo resultado: escrito por humano, com quatro de cinco modelos votando humano.
4. Salvamento do resultadoUm processamento sem mudanças custa 0 créditos; caso contrário, 1.235 caracteres custariam 3.

É esse o comportamento que mais importa para quem não é nativo. Uma ferramenta que parafraseia tudo teria trocado as frases deste autor pelas de outra pessoa, introduzido uma redação nova à qual os detectores poderiam reagir e ainda cobrado por isso. Deixar a escrita humana em paz não é uma função que falta. É o design.

Como ler este resultado com cuidado

Um parágrafo de teste não derruba um estudo publicado e não deve ser lido como "agora os detectores lidam bem com a escrita de não nativos". Três ressalvas:

• A divergência foi real. Um dos cinco modelos votou IA. Se você tivesse verificado com uma única ferramenta que se comporta como aquela, teria visto um veredito de IA num texto escrito por um humano. É esse o padrão que Liang e colegas documentaram, e é por isso que comparamos vários modelos em vez de confiar em um só. Veja por que os detectores de IA discordam.
• Seções de discussão trazem detalhes concretos. Este parágrafo está cheio de valores concretos (2 wt%, 27%, 20-35%, 3 wt%, 142 a 147 graus) e de evidências nomeadas (imagens de MEV, superfície de fratura). Um texto ligado a resultados específicos pode ser lido de outro jeito do que uma redação curta e genérica como as usadas no estudo do TOEFL.
• O seu texto não é este texto. Um parágrafo com formulações mais genéricas poderia ser sinalizado. O relatório mostra isso frase a frase, o que é mais útil do que uma única pontuação.

Gramática é outro trabalho

Passar por humano não é o mesmo que estar pronto para uma revista. O parágrafo ainda tem erros que um revisor marcaria, e um humanizador não é a ferramenta para corrigi-los. A função dele é mudar as frases que os detectores sinalizam; ele não toca nas frases que já são lidas como humanas, com erros e tudo.

Antes

The reason of this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength was decreased. In addition, the glass transition temperature was slightly increased from 142 to 147 degrees, which means the mobility of polymer chains was restricted by the graphene oxide.

Depois

The reason for this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength decreased. In addition, the glass transition temperature was slightly increased from 142 to 147 °C, which means the mobility of polymer chains was restricted by the graphene oxide.

A última correção supõe que os valores estão em graus Celsius; só o autor sabe a unidade, e o original não a informa. Outros candidatos: "the previous studies which reported" (tirar o "the"), "for the lightweight structural applications" (tirar o "the") e "It is considered that", que muitas revistas transformariam em "We attribute this to".

Uma observação prática. Se você passar este parágrafo por uma ferramenta de IA de correção gramatical ou de polimento, a versão editada pode ser lida pelos detectores de forma diferente do original. Verifique de novo depois. O relatório tem um veredito para esse caso, "escrito por humano e refinado por IA", para que você saiba em que pé está. Nossa comparação entre humanizadores, parafraseadores e corretores gramaticais explica qual ferramenta faz qual trabalho.

O que isso significa para pesquisadores não nativos de inglês

Se você escreve seus próprios rascunhos num estilo formal e formulaico, o risco de um falso positivo é real, mas não certo, e a resposta certa é verificar, não reescrever por precaução. Reescrever um texto humano para que pareça "mais humano" pode piorar as coisas.

A Academic Humanizer foi construída com isso em mente: analisa o rascunho, reescreve só as frases que os detectores sinalizam, devolve as suas próprias frases intactas e não cobra nada quando nada muda. Se você já foi sinalizado, nosso guia sobre o que fazer se o seu texto for acusado de IA injustamente é uma boa próxima leitura.