Quais frases o detector marca como IA? Detecção de IA frase a frase

Os detectores de IA marcam uma frase quando ela parece mais previsível do que as pessoas costumam escrever, e os suspeitos de sempre são aberturas genéricas, sinalizações e frases de resumo. A detecção de IA frase a frase pontua cada frase (ou uma janela curta de frases) separadamente e depois combina essas pontuações num resultado para o documento. A detecção no nível do documento pontua o texto inteiro de uma vez. Como a maioria dos rascunhos reais é mista, o jeito como uma ferramenta agrega umas poucas frases marcadas pode decidir o veredito do todo.

Se você quer saber quais frases do seu rascunho são sinalizadas como IA, precisa de uma visão frase a frase. Este post explica como as duas abordagens funcionam, por que um punhado de frases pode virar o resultado de um documento, por que reescrever só essas frases é mais seguro do que reescrever tudo e o que muda quando se combinam vários detectores.

Duas formas de pontuar um texto

Um detector no nível do documento lê o trecho inteiro e devolve um único número, muitas vezes apresentado como a probabilidade de o texto ter sido gerado por IA. Ele tem bastante evidência para trabalhar, então a estimativa é relativamente estável. A desvantagem é que ele não consegue dizer de onde veio o sinal.

Um detector frase a frase divide o texto em unidades e pontua cada uma. Muitas ferramentas então destacam as unidades sinalizadas e informam a parcela do texto que elas cobrem. Isso se aproxima mais de como a escrita de fato acontece: as pessoas redigem alguns parágrafos sozinhas, pedem ajuda a um modelo em outros e editam tudo. A pesquisa acompanhou essa realidade. O SeqXGPT, apresentado na EMNLP 2023, montou um conjunto de dados com documentos que misturam frases humanas e frases modificadas por IA e relatou que os métodos anteriores tinham dificuldade no nível da frase, enquanto a sua abordagem funcionava tanto no nível da frase quanto no do documento (Wang et al., EMNLP 2023).

We expected attendance to fall after the fee change, and in two of the three districts it did. These findings highlight the important role that economic factors play in shaping educational outcomes. The third district is the puzzle: attendance rose by four points, and the head teachers we interviewed credited a bus route that opened the same term. This suggests that transport access may moderate the effect of fees. Overall, the results underscore the need for a comprehensive approach to policy design.

Duas de cinco frases sinalizadas, uma no limite. Uma pontuação de documento diluiria isso num único número.

Repare quais frases são sinalizadas no exemplo. São as frases genéricas de resumo, que poderiam fechar quase qualquer artigo. As frases com lugares, números e uma causa nomeada são lidas como humanas. Esse padrão é comum, e é útil: mostra exatamente onde o esforço de revisão deve ir.

O problema do ruído nas frases isoladas

As pontuações por frase são informativas, mas, isoladamente, incertas. Uma frase tem poucos tokens, então qualquer estimativa de previsibilidade se apoia em pouca evidência. Muitas ferramentas suavizam isso pontuando janelas sobrepostas, de modo que o rótulo de uma frase depende em parte das vizinhas.

O Turnitin falou abertamente sobre esse efeito. Num post sobre suas taxas de falsos positivos, descreveu uma taxa de falsos positivos por frase de cerca de 4% e relatou que 54% das frases com falso positivo ficam logo ao lado de trechos realmente escritos por IA (Turnitin). Em outras palavras, frases humanas perto de frases sinalizadas têm mais chance de também serem sinalizadas.

A leitura prática: trate uma única frase destacada como um convite para olhar, não como uma conclusão. Padrões ao longo de um parágrafo dizem mais do que qualquer linha isolada.

Por que poucas frases podem virar o documento

Toda ferramenta precisa transformar pontuações de frases num veredito para o documento, e a regra escolhida importa mais do que a maioria dos usuários imagina. Entre as opções comuns estão a média das pontuações das frases, a parcela de frases acima de um limiar ou um limiar separado aplicado a essa parcela. Numa regra baseada em parcela, um resumo de 20 frases com quatro sinalizadas fica em 20%, o que pode ou não ultrapassar uma linha de corte. Corrija duas delas e a parcela cai pela metade.

Os agrupamentos também importam. Como frases vizinhas influenciam umas às outras na pontuação por janelas, três frases genéricas seguidas podem puxar uma quarta frase, humana, para o outro lado da linha. Desfaça o agrupamento e muitas vezes a vizinha passa sozinha. É por isso que poucas edições nos lugares certos podem mudar o resultado de um documento mais do que muitas edições espalhadas por igual.

Para quem escreve textos acadêmicos, os culpados típicos são previsíveis: frases de contextualização na abertura, sinalizações ("This section discusses", esta seção discute) e resumos de fechamento. Listamos soluções para eles em como revisar frases que soam como IA. Listas de referências e trechos citados são um caso à parte; veja por que o Turnitin marca referências e citações como IA.

Por que reescrever só as frases sinalizadas

Se a detecção funciona frase a frase, a revisão também deve funcionar assim. Reescrever um documento inteiro para corrigir quatro frases tem três custos.

• O risco para o sentido cresce com a abrangência. Cada frase reescrita pode perder uma ressalva, um número ou o vínculo com uma citação. Reescrever 4 frases dá quatro chances de desvio; reescrever 40 dá quarenta. Veja como preservar o sentido e as citações.
• A sua voz desaparece. As frases lidas como humanas costumam ser as que trazem as suas observações específicas. Uma reescrita global as achata.
• Podem surgir novas sinalizações. Um reescritor aplicado a tudo pode deixar uniformes frases que antes estavam limpas, elevando as pontuações em outros pontos.

1. Pontue cada fraseDescubra quais unidades soam como máquina e quais já são lidas como humanas.
2. Deixe as frases humanas em pazDevolva-as exatamente como foram escritas, palavra por palavra.
3. Reescreva as sinalizadasMude a estrutura e o ritmo mantendo afirmações, números, citações e termos.
4. Pontue de novo no contextoVerifique as novas frases dentro do parágrafo completo, já que as vizinhas afetam as pontuações.
5. Repita onde for precisoFaça uma segunda passada em qualquer frase que continue sinalizada.

Como combinar vários detectores

Detectores diferentes usam dados de treino, limiares e unidades de análise diferentes, então muitas vezes discordam sobre a mesma frase (explicamos os motivos em por que os detectores de IA discordam). Combiná-los levanta uma questão de design parecida com a da passagem da frase para o documento: uma frase conta como sinalizada se qualquer detector a sinalizar, ou só se a maioria o fizer?

O estudo de Liang et al. mostra o quanto essa escolha pesa. Ao rodar sete detectores em redações do TOEFL escritas por humanos, os autores constataram que 97,8% foram sinalizadas por pelo menos um detector, enquanto 19,8% foram sinalizadas pelos sete (Liang et al., Patterns 2023).

• Sinalizadas por pelo menos um detector97,8%
• Média entre os detectores61,3%
• Sinalizadas pelos sete19,8%

Fonte: Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

Mesmas redações, mesmos detectores, três números muito diferentes. Uma regra rígida de "qualquer detector" é cautelosa para não deixar passar texto de IA, mas aqui sinaliza quase todas as redações humanas. Uma regra de "unanimidade" é mais justa com quem escreve, mas deixa passar mais. Nenhuma é certa em todos os casos; o que importa é saber qual regra um relatório usa e lê-lo com isso em mente. Para quem escreve, verificar um rascunho com vários detectores dá um retrato mais honesto do que confiar numa única pontuação, porque mostra onde as ferramentas concordam e onde uma sinalização provavelmente é ruído.

Como a Academic Humanizer usa a pontuação frase a frase

O Humanizer da Academic Humanizer foi construído sobre essa lógica frase a frase. Ele analisa o rascunho em busca de frases que os detectores de IA sinalizam, reescreve só essas e devolve as frases já lidas como humanas exatamente como você as escreveu. Se nada for sinalizado, o resultado é igual ao texto enviado e nenhum crédito é cobrado. O AI Detection Report mostra cada frase sinalizada junto com a sua reescrita e compara o rascunho e o resultado com a mesma medida, a parcela de frases lidas como humanas, com resultados verificados em Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling e Originality.ai. Se algumas frases continuarem sinalizadas, o relatório avisa e você pode processar esses trechos de novo.