DetectGPT spiegato: come la curvatura di probabilità svela il testo AI

DetectGPT è un metodo zero-shot per rilevare il testo generato da AI che si pone una domanda semplice: se modifichi leggermente un passaggio con piccole riscritture, un modello linguistico lo apprezza di meno? Il testo scritto da una macchina tende a trovarsi su un picco locale della probabilità del modello, quindi quasi ogni cambiamento ne abbassa il punteggio. Il testo umano di solito non mostra quel picco netto.

L'idea viene da un paper del 2023 di Eric Mitchell e colleghi, presentato a ICML 2023. Ha influenzato gran parte della ricerca sul rilevamento che è seguita, compresi i metodi più veloci su cui oggi si basano molti strumenti. Questa spiegazione ripercorre il metodo in termini semplici, i risultati riportati dagli autori e cosa significa se la tua scrittura viene controllata da un detector.

Il problema che DetectGPT voleva risolvere

Prima di DetectGPT, i detector si dividevano in due grandi famiglie. I classificatori addestrati imparano da esempi etichettati di testo umano e generato, il che funziona bene su dati simili a quelli di addestramento e meno bene su qualsiasi cosa nuova. Le statistiche zero-shot, come la log-probabilità media o il rango dei token, non richiedono addestramento ma sono grossolane: un passaggio può essere molto probabile semplicemente perché il tema è comune o lo stile è formale.

Mitchell e colleghi volevano qualcosa a metà strada. Il loro detector avrebbe usato solo le log-probabilità del modello sospettato di aver scritto il testo, più uno strumento generico per fare piccole modifiche. Niente dataset etichettati, niente addestramento di classificatori e nessun watermark inserito al momento della generazione. Se prima vuoi il quadro generale, la nostra panoramica su come funzionano i detector AI illustra le principali famiglie di detector.

Come funziona DetectGPT: la curvatura della probabilità in parole semplici

Un modello linguistico assegna una probabilità a ogni passaggio. Immagina tutti i passaggi possibili come un paesaggio di colline e valli, dove l'altezza indica quanto il modello ritiene probabile un passaggio. Quando un modello genera testo, tende a scegliere a ogni passo parole ad alta probabilità, quindi i suoi output finiscono vicino alla cima delle colline.

Ora prendi un passaggio e fai alcune piccole modifiche che ne preservano il significato. Se il passaggio era su una cima, ogni passo che ti allontana va in discesa e le versioni modificate ottengono un punteggio più basso. Se il passaggio era su un pendio dolce o in pianura, come accade spesso alla scrittura umana, alcune modifiche salgono, altre scendono e la variazione media è vicina a zero. Il paper chiama questa forma curvatura negativa: la cima di una collina curva verso il basso in ogni direzione.

• Passaggio generato dal modello
• Passaggio scritto da una persona

Esempio illustrativo dell'idea, non dati del paper

In pratica, il metodo procede in quattro passi.

1. Assegna un punteggio all'originaleCalcola la log-probabilità del passaggio secondo il modello che sospetti lo abbia scritto.
2. PerturbaloMaschera brevi sequenze di parole e lascia che un modello separato, T5, le riempia con alternative plausibili.
3. Assegna un punteggio alle copieCalcola la log-probabilità di ogni copia perturbata secondo lo stesso modello sospettato.
4. ConfrontaSe l'originale ottiene un punteggio nettamente più alto della copia media, segnala il passaggio come probabilmente generato da una macchina.

Il modello di perturbazione conta. Gli autori hanno usato T5, un modello di riempimento delle maschere, per sostituire brevi sequenze in modo che le copie restassero scorrevoli e vicine nel significato. Nella configurazione principale hanno mascherato circa il 15% delle parole in sequenze di due parole e generato 100 campioni perturbati per passaggio. Il punteggio finale è la differenza tra l'originale e la media delle copie perturbate, normalizzata in base a quanto variano i punteggi delle copie.

Cosa ha riportato il paper su DetectGPT

Il risultato principale riguarda il rilevamento di fake news. Su articoli di notizie generati dal modello GPT-NeoX da 20 miliardi di parametri, DetectGPT ha raggiunto un'AUROC di 0,95, contro 0,81 della baseline zero-shot più forte. L'AUROC misura quanto bene un punteggio separa due gruppi su tutte le soglie possibili: 0,5 equivale al lancio di una moneta e 1,0 è una separazione perfetta.

Gli autori hanno testato modelli da 1,5 miliardi di parametri (GPT-2) fino a modelli da 175 miliardi come GPT-3, su notizie (XSum), paragrafi di Wikipedia (contesti di SQuAD) e spunti di scrittura creativa da Reddit. Hanno anche condotto un semplice test di revisione di tipo umano, sostituendo porzioni crescenti del testo generato con riscritture di T5. Il rilevamento è rimasto sopra 0,8 di AUROC anche quando era stato sostituito quasi un quarto del testo.

Perché DetectGPT conta per chi vede la propria scrittura controllata

La maggior parte dei detector commerciali non pubblica il proprio funzionamento interno, e molti sono classificatori addestrati più che test nello stile di DetectGPT. Il paper, però, dà un nome al segnale su cui si basa gran parte del rilevamento: un testo troppo prevedibile per un modello. Questo ha alcune conseguenze pratiche per i ricercatori.

• La prosa formale è prevedibile per natura. Sezioni dei metodi, cautele standard e formule di settore si ripetono in migliaia di articoli. Un modello le trova probabili, e questo spinge la scrittura umana accurata verso il lato della macchina. Ne parliamo in perché la prosa formale può sembrare scritta da AI.
• Il punteggio riguarda il passaggio, non l'autore. DetectGPT misura una proprietà del testo secondo un modello. Non può vedere le tue bozze, i tuoi appunti o le tue intenzioni.
• Il testo breve è più difficile. Meno token significano una stima della curvatura più rumorosa. Un singolo abstract dà al test meno materiale di un capitolo intero.

Il detector risponde anche al modello specifico usato per valutare il testo. Un testo che si trova su un picco per un modello potrebbe non esserlo per un altro, ed è uno dei motivi per cui strumenti diversi non concordano sullo stesso paragrafo.

I limiti di DetectGPT

Il paper è franco sui propri vincoli, e gli studi successivi ne hanno messi in luce altri.

Serve il modello giusto e molta potenza di calcolo

DetectGPT funziona meglio quando può interrogare le log-probabilità del modello che ha scritto il testo. Per i modelli commerciali chiusi questo accesso è limitato, e usare un modello di valutazione diverso indebolisce il segnale. L'altro problema è il costo: ogni passaggio richiede cento forward pass in più. Il paper successivo su Fast-DetectGPT ha cronometrato DetectGPT a 79.113 secondi sul proprio benchmark, contro 233 secondi del nuovo metodo sulla stessa GPU A100, un divario di circa 340 volte.

La parafrasi rompe il segnale di curvatura

Il metodo presuppone che il passaggio si trovi ancora dove il modello lo ha lasciato. Una parafrasi lo sposta. Krishna e colleghi lo hanno verificato direttamente nel loro paper a NeurIPS 2023 sul parafrasatore DIPPER: riscrivere il testo generato ha ridotto il tasso di rilevamento di DetectGPT dal 70,3% al 4,6% con un tasso di falsi positivi fisso dell'1%. Sadasivan e colleghi hanno poi riportato che la parafrasi faceva scendere l'AUROC di questo tipo di detector zero-shot dal 96,5% al 25,2%. La stessa debolezza spiega perché si continua a parlare di trucchi con i prompt; vedi perché i prompt semplici raramente rendono non rilevabile un testo ChatGPT.

• Testo generato originale70,3%
• Dopo la parafrasi di DIPPER4,6%

Fonte: Krishna et al., "Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense", NeurIPS 2023

Il modello di perturbazione influenza il risultato

Gli autori osservano che il loro approccio richiede una funzione di perturbazione adeguata. T5 funziona per l'inglese, ma nei domini in cui un modello di riempimento generico non produce riscritture realistiche le prestazioni possono calare. Il linguaggio scientifico specialistico è un caso plausibile.

Cosa è venuto dopo DetectGPT

DetectGPT ha avviato una linea di detector zero-shot che mantengono l'intuizione di fondo e riducono il costo. Fast-DetectGPT sostituisce le riscritture dell'intero passaggio con un campionamento a livello di token, e Binoculars confronta due modelli affini per correggere i temi che sono sorprendenti di per sé. Li trattiamo entrambi in Fast-DetectGPT e Binoculars spiegati. Sul fronte opposto, la ricerca sugli attacchi di parafrasi, riassunta in il testo generato da AI si può rilevare in modo affidabile?, mostra quanto questi segnali dipendano dal fatto che il testo resti vicino a ciò che un modello produrrebbe.

Il posto di Academic Humanizer

I detector basati sull'idea di prevedibilità tendono a reagire a singole frasi che risultano troppo levigate o troppo generiche, anche in bozze le cui idee e i cui dati sono interamente dell'autore. Academic Humanizer lavora proprio a quel livello: analizza una bozza alla ricerca delle frasi che i detector segnalano, riscrive solo quelle mantenendo affermazioni, numeri, citazioni e terminologia, e lascia il resto esattamente come scritto. L'AI Detection Report integrato mostra ogni frase segnalata accanto alla sua riscrittura, così puoi controllare ogni modifica prima di usarla, e conviene verificare la policy sull'AI del tuo ateneo o della rivista come parte di quella revisione.