Quanto sono accurati i rilevatori AI? Cosa mostra il benchmark RAID

Quanto sono accurati i rilevatori AI? Molti dichiarano il 99% o più. Il benchmark RAID, presentato ad ACL 2024, è stato costruito per mettere alla prova questo tipo di affermazioni su un dataset comune e difficile. La sua risposta: i rilevatori possono raggiungere un'accuratezza molto alta, ma solo in condizioni ristrette, spesso solo se si concedono molti falsi positivi, e semplici cambiamenti nel modo in cui il testo viene generato o leggermente modificato possono portarli vicini al fallimento.

Ecco cosa contiene RAID, come misura i rilevatori e perché i suoi numeri raramente coincidono con quelli delle pagine promozionali dei fornitori.

Cosa c'è dentro RAID

RAID è grande di proposito. I dataset di rilevamento precedenti tendevano a usare uno o due generatori, un'unica impostazione di decodifica e nessun attacco, il che favorisce i rilevatori. RAID varia tutti questi fattori contemporaneamente.

Il dieci per cento dei dati è tenuto da parte senza etichette come test set nascosto, e gli autori gestiscono una classifica pubblica così che i nuovi rilevatori possano essere confrontati alle stesse condizioni. Un insieme separato, RAID-extra, aggiunge 2,3 milioni di generazioni di codice Python, notizie in ceco e notizie in tedesco.

Gli abstract di articoli scientifici sono uno degli otto domini, il che rende RAID più rilevante per chi scrive in ambito accademico rispetto ai benchmark basati solo su notizie o testi web.

Perché il tasso di falsi positivi cambia tutto

Un rilevatore restituisce un punteggio. Per trasformarlo in "AI" o "umano", qualcuno sceglie una soglia. Gli autori di RAID mostrano che questa scelta conta più di quanto ammetta la maggior parte del marketing.

Per prima cosa hanno verificato cosa succede con una soglia ingenua come 0,5. Diversi rilevatori open source, soprattutto quelli basati su metriche, hanno prodotto quelli che gli autori definiscono tassi di falsi positivi pericolosamente alti. I rilevatori commerciali erano calibrati meglio: nessuno superava l'1,7% di falsi positivi alle soglie comuni testate.

Poi hanno tracciato l'accuratezza in funzione del tasso di falsi positivi. I rilevatori potevano raggiungere le accuratezze altissime citate nei report diventati virali, ma solo se veniva loro concesso un tasso di falsi positivi altrettanto alto. Man mano che il tasso tollerato scendeva, la maggior parte crollava, e pochi riuscivano a operare sotto l'1%. Alcuni non hanno mai raggiunto il tasso più basso testato, fermandosi al 16,9% (ZeroGPT), allo 0,88% (Fast-DetectGPT) e allo 0,62% (Originality). Binoculars è stata la chiara eccezione, tenendo bene anche con tassi di falsi positivi bassi.

• Tasso di rilevamento sul testo AI
• Tasso di falsi positivi sul testo umano

Esempio illustrativo del compromesso misurato da RAID, non dati del paper.

Nel resto del paper ogni rilevatore viene calibrato su un tasso di falsi positivi del 5% sui testi umani di RAID, e l'accuratezza è riportata in quel punto. È l'unico modo equo per confrontare gli strumenti, ed è anche il motivo per cui i numeri di RAID sembrano più bassi delle dichiarazioni dei fornitori, che spesso non indicano affatto un tasso di falsi positivi.

Campionamento, penalità di ripetizione e modelli mai visti

Alcuni dei risultati più sorprendenti di RAID non riguardano alcun attacco, ma solo normali impostazioni di generazione.

Penalità di ripetizione. Aggiungere una penalità di ripetizione, che scoraggia il modello dal riutilizzare gli stessi token, ha ridotto l'accuratezza fino a 32 punti tra rilevatori, generatori e domini. Gli autori notano che nessuno studio precedente sulla robustezza dei rilevatori ne aveva parlato, anche se le penalità rendono l'output più simile a quello umano.

Strategia di decodifica. Ogni categoria di rilevatori ha ottenuto risultati nettamente migliori con la decodifica greedy rispetto al campionamento casuale.

Generatori mai visti. Il rilevatore RoBERTa addestrato su output di GPT-2 ha superato il 95% sul testo di GPT-2 in cinque domini, ma raramente il 60% sul testo di altri modelli negli stessi domini. I rilevatori funzionano meglio sui modelli e sui domini su cui sono stati addestrati, e gli autori hanno osservato schemi simili negli strumenti commerciali.

Il paper lo riassume senza giri di parole: cambiare il generatore, la strategia di decodifica o aggiungere una penalità di ripetizione bastava a introdurre tassi di errore del 95% o più in rilevatori che altrimenti sembravano eccellenti.

Come gli attacchi avversariali colpiscono rilevatori diversi

Gli attacchi di RAID sono modifiche volutamente semplici, di tipo black box. Il loro effetto variava molto da rilevatore a rilevatore, ed è uno dei risultati più utili del paper.

• Originality, nessun attacco85,0%
• Originality, attacco con omoglifi9,3%
• Binoculars, nessun attacco79,6%
• Binoculars, sostituzione con sinonimi43,5%
• GPTZero, nessun attacco66,5%
• GPTZero, attacco con omoglifi66,2%

Fonte: Dugan et al. 2024, Tabella 6.

• Sostituire una piccola parte delle parole con sinonimi ha ridotto Binoculars e gli altri metodi basati su metriche fino a 36,1 punti.
• Gli omoglifi, caratteri identici all'aspetto ma con code point diversi, hanno danneggiato quasi tutti i rilevatori. GPTZero ha perso solo 0,3 punti; altri cinque sono calati in media di 40,6.
• I rilevatori addestrati in modo avversariale, come RADAR, hanno retto molto meglio.
• Alcuni attacchi hanno addirittura aiutato. Il rilevatore RoBERTa per GPT-2 è migliorato di 16,2 punti dopo la parafrasi con T5, probabilmente perché il parafrasatore ha avvicinato il testo ai dati di addestramento del rilevatore stesso.

Lo schema dietro tutto questo è lo stesso emerso in studi più piccoli come il test di 14 strumenti di Weber-Wulff e colleghi: i rilevatori leggono statistiche di superficie, e rilevatori diversi ne leggono di diverse. Una modifica che lascia intatto il significato può comunque far passare un testo dall'altra parte della linea di un rilevatore.

Perché i numeri dei benchmark differiscono da quelli dei fornitori

Quando la pagina di un prodotto dice 99%, di solito intende il 99% sul test set del fornitore, tratto dai modelli, dai domini e dalle impostazioni per cui il rilevatore è stato addestrato, con una soglia che al lettore non viene detta. RAID differisce su ognuno di questi punti:

• Fissa e dichiara il tasso di falsi positivi, così l'accuratezza non si può comprare con testi umani segnalati per errore.
• Include modelli e domini che un rilevatore potrebbe non aver mai visto.
• Varia impostazioni di decodifica che utenti e strumenti reali cambiano di continuo.
• Applica modifiche economiche che i testi reali subiscono comunque, come refusi, cambi di formattazione e riformulazioni.

Nessuno dei due numeri è falso. Rispondono a domande diverse. Il dato del fornitore ti dice come va uno strumento nelle condizioni per cui è stato costruito. RAID ti dice come si comporta quando le condizioni cambiano, il che è più vicino a ciò che succede a un manoscritto reale. Questo divario spiega anche buona parte di ciò che trattiamo in perché i rilevatori AI non sono d'accordo sullo stesso paragrafo.

Gli autori tracciano una linea netta nella loro dichiarazione etica: dati i problemi irrisolti di falsi positivi, si oppongono all'uso dei rilevatori in contesti disciplinari o punitivi finché non saranno adottati su larga scala standard di valutazione migliori.

Cosa significa per chi scrive in ambito accademico

Se scrivi con l'aiuto dell'AI, RAID ricorda che qualsiasi punteggio di un singolo rilevatore dipende da impostazioni che non vedi. Considera un risultato come una lettura tra tante, controlla cosa dice la policy della tua università o rivista sull'assistenza dell'AI e conserva traccia del tuo processo di scrittura. Se un punteggio viene usato contro di te, prove da benchmark come questa sono una base corretta per chiedere una revisione umana; il nostro articolo su cosa fare se vieni segnalato ingiustamente come AI spiega i passi pratici. Turnitin rileva ChatGPT, Claude e Gemini? affronta la stessa domanda per Turnitin, che RAID non ha testato.

Il ruolo di Academic Humanizer

Poiché i rilevatori non sono d'accordo e cambiano, Academic Humanizer verifica i risultati con diversi rilevatori invece che con uno solo. È validato con Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling e Originality.ai. Humanizer riscrive solo le frasi che i rilevatori segnalano, mantiene terminologia, numeri e citazioni, e il suo AI Detection Report mostra bozza e risultato fianco a fianco sulla stessa misura, comprese le frasi ancora segnalate, così puoi decidere cosa rivedere prima dell'invio.