I rilevatori AI sono di parte? Falsi positivi su chi non è madrelingua

Gli AI detector sono di parte? Nel test più noto, sì: hanno prodotto molti più falsi positivi sui testi di chi scrive in inglese come seconda lingua che su quelli dei madrelingua. È il risultato centrale di "GPT detectors are biased against non-native English writers", uno studio del 2023 di Weixin Liang, James Zou e colleghi di Stanford, pubblicato sulla rivista Patterns. Sette detector diffusi hanno etichettato come generati da AI, in media, il 61% dei saggi TOEFL scritti da studenti reali, mentre gestivano quasi alla perfezione i saggi di studenti statunitensi di terza media.

Per ricercatori e studenti internazionali, questo paper è la prova più chiara che il verdetto di un detector può riflettere il modo in cui scrivi in inglese più che l'uso effettivo dell'AI. Ecco come funzionava lo studio, perché si verifica il bias e cosa è cambiato da allora.

Come è stato progettato lo studio di Liang et al.

Il disegno è semplice, ed è anche per questo che è risultato così convincente. Gli autori hanno raccolto due gruppi di saggi scritti interamente da persone:

• 91 saggi TOEFL di autori non madrelingua inglese, raccolti da un forum educativo cinese.
• 88 saggi di studenti statunitensi di terza media, tratti dal dataset dell'Automated Student Assessment Prize della Hewlett Foundation.

Hanno passato ogni saggio in sette detector molto usati all'epoca: Originality.AI, Quill.org, Sapling, il classificatore di OpenAI, Crossplag, GPTZero e ZeroGPT. Poiché tutti i saggi erano scritti da persone, qualsiasi verdetto di AI era un falso positivo.

I risultati: segnalato il 61% dei saggi TOEFL

Sui saggi statunitensi i detector sono stati quasi perfetti. Sui saggi TOEFL, il tasso medio di falsi positivi dei sette strumenti è stato del 61,22%. Peggio ancora, gli errori non erano distribuiti a caso.

Diciotto dei 91 saggi sono stati etichettati come generati da AI da ogni singolo detector. E 89 su 91 sono stati segnalati da almeno uno. Se un docente o un editor passa il saggio di un autore non madrelingua nel primo strumento che ha a disposizione, questi numeri suggeriscono un'alta probabilità di almeno un falso allarme.

Perché succede: perplessità e lessico ristretto

Molti detector si basano sulla perplessità, una misura di quanto un modello linguistico è sorpreso da un testo. L'output delle macchine tende ad avere una bassa perplessità perché i modelli scelgono parole probabili. Il problema è che anche la scrittura umana può avere una bassa perplessità per ragioni del tutto innocenti.

Chi scrive in una seconda lingua usa spesso un lessico più ridotto e sicuro e strutture di frase più comuni. Non è un difetto del suo pensiero; è il modo in cui la maggior parte delle persone scrive in una lingua imparata più tardi. Ma per un modello linguistico quelle scelte sono prevedibili, e ciò che è prevedibile sembra generato da una macchina. Gli autori hanno misurato direttamente la perplessità e hanno riscontrato che i saggi TOEFL avevano una perplessità significativamente più bassa di quelli statunitensi.

• Testo generato da una macchina
• Scrittura umana di non madrelingua

Esempio illustrativo del meccanismo, non dati del paper

L'esperimento sull'arricchimento lessicale

Per verificare se fosse davvero il lessico a determinare il bias, gli autori hanno condotto l'esperimento in entrambe le direzioni usando ChatGPT come editor.

• Arricchire i saggi dei non madrelingua. Hanno chiesto a ChatGPT di migliorare le scelte lessicali dei saggi TOEFL perché suonassero più da madrelingua. Il tasso medio di falsi positivi è sceso dal 61,22% all'11,77%, e solo 1 saggio su 91 era ancora segnalato da tutti e sette i detector.
• Semplificare i saggi dei madrelingua. Hanno chiesto a ChatGPT di semplificare le scelte lessicali dei saggi statunitensi per imitare la scrittura di un non madrelingua. Gli errori di classificazione sono saliti da una media del 5,19% al 56,65%.

• Saggi TOEFL, originali61,22%
• Saggi TOEFL, lessico arricchito11,77%
• Saggi di terza media USA, originali5,19%
• Saggi di terza media USA, lessico semplificato56,65%

Fonte: Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

Il contenuto di ogni saggio è rimasto lo stesso. È cambiato solo il lessico, e i verdetti si sono spostati di circa cinquanta punti percentuali in ciascuna direzione. Gli autori hanno mostrato anche il rovescio della medaglia: chiedere a ChatGPT di riscrivere i propri saggi per l'ammissione al college e i propri abstract scientifici con un linguaggio più letterario ha ridotto drasticamente il rilevamento. Per gli abstract, il rilevamento è sceso da un massimo del 68% a un massimo del 28%. La loro conclusione è che i detector, nella forma attuale, possono penalizzare chi ha un'espressione linguistica più limitata ed essere facili da aggirare per chi è determinato a farlo.

Cosa significa per i ricercatori internazionali

L'inglese scientifico spinge già tutti verso formulazioni standard. Se ci aggiungi la scrittura in una seconda lingua, la prosa di molti ricercatori internazionali finisce dritta nella zona che i detector associano alle macchine. Ne derivano alcune indicazioni pratiche. La nostra guida su come evitare il rilevamento AI nella scrittura accademica le trasforma in passi di revisione.

• Una segnalazione non è una prova di cattiva condotta. Gli autori hanno sconsigliato esplicitamente l'uso dei detector in contesti valutativi o educativi. Se vieni segnalato, la nostra guida su cosa fare se vieni segnalato ingiustamente come AI spiega come rispondere.
• Rendi visibile il tuo processo. Bozze, appunti e cronologia delle versioni sono la risposta più forte a un punteggio contestato. Leggi come la cronologia delle bozze sostiene l'integrità accademica.
• Formale non significa generato da una macchina. Lo stesso meccanismo spiega perché la prosa formale può sembrare scritta da AI anche quando a scrivere sono madrelingua.

Limiti dello studio e ricerche successive

Lo studio ha limiti reali. I campioni sono modesti, 91 e 88 saggi, e si tratta di saggi studenteschi, non di articoli scientifici. I detector sono stati testati all'inizio del 2023, e da allora ogni fornitore ha aggiornato i propri modelli. OpenAI ha ritirato il suo classificatore più avanti nello stesso anno. Le percentuali esatte descrivono quindi quegli strumenti in quel momento, non le versioni di oggi.

Le ricerche successive danno un quadro misto. Gli autori di Binoculars, un detector zero-shot presentato a ICML 2024, hanno testato saggi di autori non madrelingua in versione originale e corretta grammaticalmente e hanno riportato un'accuratezza del 99,67% su entrambe, il che suggerisce che alcuni metodi sono meno sensibili a questo effetto. D'altra parte, gli autori di Fast-DetectGPT hanno indicato i tassi di falsi positivi più alti sulla scrittura dei non madrelingua come un rischio per i detector del loro tipo. Confrontiamo questi metodi in Fast-DetectGPT e Binoculars spiegati. La tensione di fondo non è scomparsa: qualsiasi detector che premia le scelte lessicali sorprendenti farà più fatica a giudicare un inglese semplice e accurato.

L'approccio di Academic Humanizer

Academic Humanizer è stato creato per i ricercatori le cui idee vengono scambiate per testo generato da una macchina, compresi i molti che scrivono in inglese come seconda lingua. Controlla una bozza frase per frase, riscrive solo le frasi che i detector segnalano e mantiene intatte affermazioni, numeri, citazioni e terminologia di settore; le frasi già lette come umane restano esattamente come le hai scritte. L'AI Detection Report mostra ogni modifica affiancata all'originale, così approvi tu la formulazione finale, ed è buona pratica verificare insieme la policy sull'AI della rivista o del tuo ateneo.