Il testo AI si può rilevare in modo affidabile? Lo studio di Sadasivan

I rilevatori AI sono affidabili? No, quando qualcuno cerca attivamente di eluderli, secondo "Can AI-Generated Text Be Reliably Detected?", un paper del 2023 di Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang e Soheil Feizi, e sempre meno man mano che i modelli linguistici imparano a sembrare umani. Il paper, poi pubblicato su Transactions on Machine Learning Research, è diventato uno degli argomenti più citati nel dibattito sui detector AI.

Sosteneva tre tesi. La parafrasi del testo generato, soprattutto se ripetuta, mette fuori gioco ogni tipo principale di detector. I detector possono anche essere ingannati (spoofing) e indotti a segnalare testo umano. E c'è un limite matematico a quanto bene possa funzionare qualsiasi detector. Questo post spiega ciascuna tesi e poi esamina gli studi che le hanno contestate.

Tesi 1: la parafrasi ricorsiva mette fuori gioco i detector

L'attacco è semplice da descrivere. Prendi un passaggio scritto da un modello linguistico e fallo passare in un modello di parafrasi. Poi parafrasa la parafrasi, e ripeti. Gli autori la chiamano parafrasi ricorsiva e l'hanno testata su passaggi di circa 300 token con diversi parafrasatori, tra cui DIPPER, un modello da 11 miliardi di parametri costruito da un altro gruppo proprio per questo tipo di studio.

L'hanno puntata contro quattro famiglie di detector:

• Detector a watermark, che cercano uno schema statistico nascosto inserito al momento della generazione. La nostra spiegazione del paper sul watermarking degli LLM illustra come funzionano.
• Classificatori addestrati, come il detector basato su RoBERTa rilasciato da OpenAI.
• Detector zero-shot come DetectGPT, che leggono le probabilità del modello stesso.
• Detector basati sul retrieval, che confrontano un passaggio con un database di tutto ciò che un modello ha generato.

• Watermark, testo originale (TPR all'1% di FPR)99,3%
• Watermark, dopo la parafrasi ricorsiva9,7%
• Detector zero-shot, testo originale (AUROC)96,5%
• Detector zero-shot, dopo la parafrasi (AUROC)25,2%

Fonte: Sadasivan et al., "Can AI-Generated Text be Reliably Detected?", arXiv 2303.11156

Sul testo con watermark, la parafrasi ricorsiva ha fatto scendere il tasso di veri positivi, con un tasso di falsi positivi dell'1%, dal 99,3% al 9,7%. Per il detector zero-shot l'AUROC è scesa dal 96,5% al 25,2%, peggio di una scelta a caso. Gli autori hanno anche condotto valutazioni umane e riportato che le parafrasi mantenevano per lo più significato e correttezza grammaticale, anche se in alcuni casi la qualità calava.

Tesi 2: i detector possono essere ingannati

Il secondo attacco va nella direzione opposta: far sembrare generato da una macchina un testo umano. Gli autori hanno mostrato che un attaccante che si limita a interrogare un modello con watermark, senza vedere come funziona il detector, può stimare quali parole il watermark favorisce. Scrivendo con quelle parole, un testo umano fa scattare il watermark. Nel loro esperimento lo spoofing ha portato l'AUROC di rilevamento del soft watermark dal 99,8% all'1,3%, il che significa che il detector non riusciva più a distinguere il testo davvero marcato da quello contraffatto.

Per chi vede il proprio lavoro controllato dai detector, questo è il risultato più scomodo. Un detector che può essere indotto ad accusare la scrittura umana è un rischio reputazionale per le persone che giudica, non solo per chi sviluppa il modello.

Tesi 3: il limite dell'AUROC

Il risultato teorico lega il rilevamento a un unico numero. Immagina tutto il testo che gli esseri umani potrebbero scrivere come una distribuzione di probabilità, e tutto il testo che un modello potrebbe scrivere come un'altra. La distanza di variazione totale tra le due, TV, misura quanto sono diverse, da 0 (identiche) a 1 (nessuna sovrapposizione). Il paper dimostra che, per qualsiasi detector:

AUROC ≤ 1/2 + TV − TV²/2

Quando TV è grande, il limite è largo e un buon detector è possibile. Man mano che i modelli migliorano e la distribuzione del loro output si avvicina alla scrittura umana, TV si riduce e la migliore AUROC ottenibile scivola verso 0,5, cioè il lancio di una moneta.

Valori calcolati dal limite del paper; non sono risultati sperimentali.

• Distribuzioni molto distanti
• Distribuzioni molto vicine

Esempio illustrativo del significato del limite, non dati del paper

Le obiezioni

Il paper ha suscitato risposte decise. Tre meritano di essere conosciute.

Più testo rende di nuovo possibile il rilevamento

Souradip Chakraborty e colleghi hanno sostenuto in un position paper presentato a ICML 2024, "Position: On the Possibilities of AI-Generated Text Detection", che il limite si applica a un singolo campione. Se un detector vede più testo, passaggi più lunghi o più campioni dalla stessa fonte, le distribuzioni diventano più facili da distinguere, e il rilevamento resta possibile a meno che testo umano e testo generato non siano identici su tutto il loro spettro. Hanno anche calcolato quanto testo serve. In breve: il tetto è reale per singolo campione, ma si alza con la lunghezza.

I watermark resistono più del previsto

Il gruppo dietro il metodo originale della lista verde, guidato da John Kirchenbauer, ha studiato la questione in "On the Reliability of Watermarks for Large Language Models" (ICLR 2024). Ha scoperto che i watermark restavano rilevabili dopo parafrasi sia umane sia automatiche, perché le parafrasi tendono a conservare frammenti dell'originale. In un contesto con una pesante riformulazione umana, il watermark era rilevabile in media dopo circa 800 token, con un tasso di falsi positivi molto basso.

Il retrieval come difesa

Kalpesh Krishna e colleghi, che hanno costruito DIPPER, hanno proposto nel loro paper a NeurIPS 2023 che un fornitore di modelli possa archiviare i propri output e fare ricerche al loro interno. Con 15 milioni di generazioni archiviate, hanno rilevato dall'80% al 97% degli output parafrasati con un tasso di falsi positivi dell'1%. Sadasivan et al. hanno risposto che la parafrasi ricorsiva indebolisce anche il retrieval. Parliamo di DIPPER in come la parafrasi di DIPPER elude i detector AI.

Cosa significa in pratica

Il dibattito si assesta su una posizione intermedia ragionevole. Il rilevamento funziona meglio sui testi lunghi che su quelli brevi, funziona meglio quando il detector sa quale modello aspettarsi e si indebolisce man mano che modelli e strumenti di riscrittura migliorano. Nessuna delle obiezioni sostiene che un singolo paragrafo possa essere giudicato con certezza. Per come questo si traduce con un rilevatore commerciale, vedi Turnitin rileva il testo umanizzato?

• I passaggi brevi portano con sé la maggiore incertezza. Un abstract o un singolo paragrafo è proprio il punto in cui il limite per campione si fa sentire. Benchmark come RAID mostrano quanto le prestazioni variano da un contesto all'altro.
• Gli errori vanno in entrambe le direzioni. I detector non riconoscono il testo generato e poi riscritto e possono anche segnalare testo umano, come mostrano gli studi sul bias verso chi non è madrelingua.
• Un punteggio è una probabilità, non un verdetto. Le istituzioni che lo trattano come una prova si affidano a una certezza maggiore di quella che la ricerca giustifica.

Il posto di Academic Humanizer

Se il rilevamento è incerto a livello di paragrafo, la risposta sensata per un autore onesto è guardare le frasi che determinano un punteggio invece di tirare a indovinare. Academic Humanizer analizza una bozza alla ricerca delle frasi che i detector segnalano, riscrive solo quelle mantenendo significato, numeri e citazioni, e lascia come sono le frasi lette come umane. Il suo AI Detection Report confronta la versione prima e dopo con la stessa misura e dice chiaramente se qualcosa resta segnalato. Rivedi e approvi ogni modifica, e verificare la policy sull'AI del tuo ateneo o della rivista resta parte del lavoro.