Detector de IA funciona em português? Idiomas e roteiro do Humanizer

A detecção de IA fora do inglês é mais irregular do que dentro dele: a detecção de escrita por IA do Turnitin cobre inglês, espanhol, japonês e árabe, e a maioria dos detectores foi construída primeiro em torno do inglês. Hoje o Humanizer aceita textos em inglês. Coreano, espanhol, chinês, japonês e francês estão a caminho, e o guia de entrada no aplicativo já os lista como em breve. O site do Academic Humanizer e este blog já estão disponíveis em 10 idiomas.

Não vamos divulgar datas para os novos idiomas de entrada, e este post explica o motivo. Humanizar bem em um idioma não é uma tarefa de tradução. Depende de como os detectores se comportam naquele idioma, de como o texto é dividido em unidades e de como é a boa prosa acadêmica ali.

Como está o suporte a idiomas hoje

O inglês responde por uma grande parte das publicações acadêmicas e é também o idioma em torno do qual a maioria dos detectores de IA foi construída. Muitos pesquisadores que publicam em inglês o escrevem como segunda ou terceira língua, então a entrada em inglês já atende um grupo multilíngue de autores.

Por que humanizar em vários idiomas é mais difícil do que parece

Um humanizador que trabalha frase a frase, como o Humanizer, precisa fazer três coisas em qualquer idioma: dividir o rascunho em frases corretamente, encontrar as frases que os detectores sinalizam e reescrever só essas, num registro adequado à área. Fora do inglês, cada etapa fica mais difícil.

1. Os detectores foram feitos, em sua maioria, para o inglês

A maioria dos detectores de IA mais usados foi desenvolvida e testada principalmente com textos em inglês. O comportamento deles em outros idiomas é menos estudado, e pesquisas já mostraram que os detectores podem errar ao avaliar textos que fogem dos padrões com que foram treinados. Um estudo sobre textos de falantes não nativos de inglês concluiu que os detectores os marcavam como gerados por IA com muito mais frequência do que textos de falantes nativos, em grande parte porque frases mais simples e previsíveis lhes parecem coisa de máquina. Falamos desse estudo em detectores de GPT são enviesados contra quem não é falante nativo de inglês.

Se a detecção já é desigual dentro do inglês, é razoável esperar ainda mais desigualdade entre idiomas. Antes de aceitar um novo idioma de entrada, precisamos saber quais detectores lidam com ele, onde eles divergem e como é um falso positivo nesse idioma.

2. O texto é dividido de outra forma

Detectores e modelos de linguagem não leem palavras. Eles leem tokens, que são pedaços de texto presentes no vocabulário de cada modelo. Em inglês, palavras comuns costumam ser um único token. Em idiomas com muitas terminações ou sem espaço entre as palavras, a mesma ideia pode ser cortada em mais pedaços, e menores.

The results were significant / 결과가 유의미했다

Apenas ilustrativo. Verde: um pedaço conhecido que corresponde a uma palavra inteira. Vermelho: uma palavra quebrada em pedaços menores. A divisão real depende do vocabulário de cada modelo.

Isso importa por dois motivos. Detectores estatísticos avaliam o quanto cada token é previsível, então uma divisão diferente muda o sinal que eles enxergam. E a própria divisão em frases varia: chinês e japonês usam outra pontuação final e não têm espaços, enquanto coreano e japonês têm terminações de frase que carregam polidez e registro. Um humanizador que divide as frases errado vai reescrever os trechos errados.

3. O registro acadêmico muda de um idioma para outro

"Soar humano" não é o mesmo alvo em todos os idiomas. A boa prosa acadêmica segue convenções diferentes:

• A escrita científica em coreano costuma usar a terminação declarativa simples e um tom formal e impessoal.
• Artigos em japonês geralmente usam o estilo escrito formal, e não o estilo polido da fala, e essa escolha precisa ser consistente ao longo do texto.
• A prosa acadêmica em espanhol e em francês costuma preferir frases mais longas e construções impessoais que pareceriam prolixas em inglês.
• A escrita acadêmica em chinês tem seu próprio conjunto de conectivos formais e expressões fixas, e o uso excessivo delas é um sinal conhecido de texto feito por modelo.

Uma reescrita que pareça estilo inglês natural transplantado para outro idioma decepcionaria os leitores e, provavelmente, também os detectores. Cada idioma precisa de uma noção própria do que é uma frase acadêmica limpa, além de cuidado com a terminologia da área, que muitas vezes mistura termos locais com empréstimos do inglês.

O Turnitin e o GPTZero detectam IA em outros idiomas?

Alguns detectam, num conjunto limitado de idiomas. O guia do AI Writing Report do Turnitin lista inglês, espanhol, japonês e árabe como suportados, e um arquivo em outro idioma não recebe relatório de escrita por IA. Isso não é o mesmo que um resultado limpo. A detecção de texto parafraseado por IA e modificado por bypassers do Turnitin funciona só em inglês.

O FAQ do GPTZero diz que o modelo suporta inglês, espanhol, francês, alemão e outros idiomas, e o Copyleaks diz que cobre mais de 30. São declarações dos fornecedores. Os testes independentes fora do inglês são bem mais escassos do que em inglês.

Se você escreve em outro idioma, três pontos decorrem disso:

• Verifique se o detector usado pela sua instituição ou pela revista suporta o seu idioma.
• Espere que as pontuações num idioma recém-suportado se apoiem em menos testes do que as pontuações em inglês.
• Cuidado com a tradução. Num estudo de 2023 com 14 ferramentas, a escrita humana traduzida automaticamente para o inglês foi classificada corretamente cerca de 20 pontos a menos do que o texto originalmente em inglês (veja o que esse estudo encontrou).

O que vamos verificar antes de liberar um idioma

1. Divisão em frasesOs rascunhos no idioma precisam ser divididos em frases do jeito que um leitor faria.
2. Cobertura dos detectoresPrecisamos saber como os detectores que usamos como referência se comportam naquele idioma.
3. Qualidade do registroAs reescritas precisam soar como prosa acadêmica formal naquele idioma, não como inglês traduzido.
4. Sentido e termosNúmeros, citações e terminologia da área precisam sobreviver à reescrita.

Só quando um idioma passa por essas verificações ele sai de "em breve" para disponível. É também por isso que não prometemos datas: o trabalho termina quando está bem feito.

O que fazer enquanto isso

Se você escreve em inglês como língua adicional, o Humanizer já funciona para você hoje. O rascunho é analisado frase a frase, só as frases sinalizadas são reescritas e o resto fica exatamente como você escreveu. Para quem tem um inglês simples que os detectores interpretam mal, essa costuma ser a configuração mais útil. Nosso estudo de caso de um autor não nativo de inglês analisa essa situação em mais detalhes.

Se o seu manuscrito está em outro idioma, espere o suporte nativo em vez de traduzi-lo para o inglês e depois de volta. Essa ida e volta pela tradução tende a achatar justamente o registro que você quer manter. E, seja qual for o idioma, confira a política de IA da sua instituição ou da revista-alvo antes de submeter um trabalho feito com ajuda de IA.

Perguntas frequentes

Já posso humanizar textos em coreano com a Academic Humanizer?

Ainda não. Hoje a entrada é só em inglês. O coreano é um dos cinco idiomas que chegam em breve, junto com espanhol, chinês, japonês e francês.

Quando os novos idiomas de entrada serão lançados?

Ainda não anunciamos datas. Cada idioma entra no ar depois de passar pelas verificações acima.

O site está disponível no meu idioma?

O site e o blog estão disponíveis em inglês, coreano, japonês, chinês simplificado, espanhol, francês, alemão, hindi, italiano e português.

Por que os detectores de IA são menos confiáveis em textos que não estão em inglês?

A maioria foi desenvolvida e testada principalmente em inglês. Uma tokenização diferente e outras convenções de escrita mudam os sinais em que eles se apoiam. Para entender melhor, veja como funcionam os detectores de IA.

Rumo a mais idiomas

A Academic Humanizer existe para que as ideias dos próprios pesquisadores não sejam rotuladas como texto de máquina. Esse problema não para no inglês, e o Humanizer também não vai parar. Por enquanto, se o seu rascunho está em inglês, você pode processá-lo hoje e ver, frase a frase, o que os detectores captam.