Rilevamento dell'AI: una lista di lettura con 11 studi chiave

Se vuoi capire il rilevamento dei testi AI invece di fidarti semplicemente di un punteggio, una dozzina di paper fa quasi tutto il lavoro. Spiegano come i detector misurano un testo, quanto reggono, con chi sbagliano e quanto facilmente una riscrittura superficiale ne sposta i verdetti. Questa lista di lettura ne raccoglie undici, dal 2019 al 2024, più uno studio scritto per i docenti.

Ogni voce riporta il titolo completo, gli autori, la sede di pubblicazione, un risultato verificato e un link al paper. Quando abbiamo una spiegazione più lunga, trovi anche quel link.

1. 2019: i primi strumentiGLTR e il GPT-2 output detector mostrano due approcci che dominano ancora oggi: statistiche sui token e classificatori addestrati.
2. 2023: zero-shot e watermarkDetectGPT e il watermarking degli LLM propongono un rilevamento senza classificatore addestrato.
3. 2023: i primi stress testDIPPER dimostra l'elusione tramite parafrasi; Liang et al. mostrano il bias verso chi scrive in inglese come seconda lingua.
4. 2024: detector più economici, benchmark più grandiFast-DetectGPT, Binoculars e Ghostbuster migliorano il rilevamento, mentre RAID e M4 lo mettono alla prova su larga scala.

Le basi: come è nato il rilevamento

1. GLTR: Statistical Detection and Visualization of Generated Text

Sebastian Gehrmann, Hendrik Strobelt, Alexander M. Rush · ACL 2019 (System Demonstrations)

GLTR colora ogni parola in base alla posizione che le ha assegnato un modello linguistico. Il testo generato tende a restare tra le scelte più probabili, mentre le persone scelgono più spesso parole meno attese. In uno studio con utenti, GLTR ha portato l'accuratezza nel riconoscere testo generato dal 54% al 72% senza addestramento preliminare. La sua idea di fondo, cioè che la prevedibilità sia un segnale, è alla base della maggior parte dei detector attuali. Paper

2. Release Strategies and the Social Impacts of Language Models

Irene Solaiman et al. (OpenAI) · Report, 2019

Questo report sul rilascio graduale di GPT-2 descrive il classificatore basato su RoBERTa che è diventato il diffusissimo "GPT-2 Output Detector". Gli autori riportano che rilevava il testo del GPT-2 da 1,5 miliardi di parametri con un'accuratezza di circa il 95%. Lo stesso detector ricompare in valutazioni successive: in RAID ha superato il 95% sul testo di GPT-2 in cinque domini, ma raramente il 60% sul testo di altri modelli. Paper

Rilevamento zero-shot e watermarking

3. DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature

Eric Mitchell, Yoonho Lee, Alexander Khazatsky, Christopher D. Manning, Chelsea Finn · ICML 2023

DetectGPT osserva che il testo scritto da un modello tende a trovarsi su un picco locale della log-probabilità del modello: piccole perturbazioni lo rendono meno probabile. Non servono dati di addestramento, solo le probabilità del modello e un modello di perturbazione come T5. Sulle fake news generate da GPT-NeoX ha portato l'AUROC da 0,81, il miglior metodo zero-shot precedente, a 0,95. Leggi la nostra spiegazione di DetectGPT. Paper

4. A Watermark for Large Language Models

John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein · ICML 2023

Invece di indovinare dallo stile, questo approccio inserisce un segnale al momento della generazione. Prima di ogni parola viene scelta una "lista verde" pseudocasuale di token, leggermente favorita; in seguito un detector conta i token verdi ed esegue un test statistico con p-value interpretabili, senza bisogno del modello stesso. Funziona solo se il fornitore del modello lo attiva. Leggi la nostra spiegazione sul watermarking. Paper

Stress test: elusione e bias

5. Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense

Il paper su DIPPER (scheda qui sopra) è il punto di partenza della ricerca sugli humanizer. Un parafrasatore da 11 miliardi di parametri ha indebolito il watermarking, DetectGPT, GPTZero e il classificatore di OpenAI mantenendo il significato. La soluzione proposta, cercare contenuti corrispondenti tra le generazioni archiviate dal fornitore, ha individuato dall'80% al 97% delle parafrasi con un tasso di falsi positivi dell'1%. Leggi la nostra spiegazione di DIPPER.

6. GPT detectors are biased against non-native English writers

Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou · Patterns, 2023

Sette detector diffusi sono stati testati su 91 saggi TOEFL di autori non madrelingua e 88 saggi di studenti statunitensi di terza media. Sono stati quasi perfetti sui saggi statunitensi, ma hanno segnalato come AI oltre metà dei saggi TOEFL, con un tasso medio di falsi positivi del 61,22%; 89 saggi su 91 sono stati segnalati da almeno un detector. Arricchire il lessico degli stessi saggi ha ridotto il tasso all'11,77%. Leggi la nostra spiegazione sul bias dei detector. Paper

2024: detector più veloci e benchmark più difficili

7. Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text via Conditional Probability Curvature

Guangsheng Bao, Yanbin Zhao, Zhiyang Teng, Linyi Yang, Yue Zhang · ICLR 2024

Fast-DetectGPT sostituisce il costoso passaggio di perturbazione di DetectGPT con una misura della curvatura della probabilità condizionata basata sul campionamento. Gli autori riportano un miglioramento relativo di circa il 75% rispetto a DetectGPT sia in contesto white-box sia black-box, e un rilevamento circa 340 volte più veloce. Paper

8. Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text

Abhimanyu Hans et al. · ICML 2024

Binoculars confronta quanto un testo è sorprendente per un modello con quanto le previsioni di un modello sono sorprendenti per un altro. Senza alcun dato di addestramento, rileva oltre il 90% dei campioni di ChatGPT e di altri LLM con un tasso di falsi positivi dello 0,01%. In RAID è stato il migliore a bassi tassi di falsi positivi. Leggi la nostra spiegazione di Fast-DetectGPT e Binoculars. Paper

9. Ghostbuster: Detecting Text Ghostwritten by Large Language Models

Vivek Verma, Eve Fleisig, Nicholas Tomlin, Dan Klein · NAACL 2024

Ghostbuster fa passare i documenti attraverso diversi modelli linguistici più deboli, esplora le combinazioni delle loro caratteristiche e addestra un classificatore sul risultato, quindi non ha bisogno di accedere alle probabilità del modello bersaglio. Ha raggiunto 99,0 di F1 tra i domini, 5,9 punti di F1 sopra il miglior modello precedente, e ha introdotto nuovi dataset di saggi studenteschi, scrittura creativa e notizie. Paper

10. M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection

Yuxia Wang et al. · EACL 2024

M4 comprende sei generatori (tra cui GPT-4, ChatGPT, Cohere, Dolly-v2 e BLOOMz), domini che vanno da Wikipedia agli abstract di arXiv e alle peer review, e sette lingue: arabo, bulgaro, cinese, inglese, indonesiano, russo e urdu. Il risultato principale è che i detector faticano a generalizzare su domini e modelli mai visti e, in quei casi, tendono a classificare come umano il testo generato. È diventato la base del SemEval-2024 Task 8. Paper

11. RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors

Liam Dugan et al. · ACL 2024

RAID mette alla prova 12 detector su oltre 6 milioni di generazioni da 11 modelli, 8 domini, 4 strategie di decodifica e 11 attacchi avversari, con ogni detector calibrato sullo stesso tasso di falsi positivi. Detector che sembrano eccellenti in un contesto possono fallire in un altro, e la sola penalità di ripetizione ha ridotto l'accuratezza fino a 32 punti. Leggi la nostra spiegazione di RAID. Paper

Uno in più per i docenti

Testing of detection tools for AI-generated text di Debora Weber-Wulff et al. (International Journal for Educational Integrity, 2023) ha testato 14 strumenti su 54 documenti controllati. Nessuno ha raggiunto l'80% di accuratezza, e la parafrasi automatica ha ridotto l'accuratezza media al 26%. Leggi la nostra sintesi dello studio sui 14 strumenti oppure il paper. Per la teoria sul perché il rilevamento potrebbe restare difficile, vedi il nostro post su se il testo AI possa essere rilevato in modo affidabile. Per cosa guardano i docenti oltre al punteggio, vedi i professori possono scoprire l'AI?

Come leggere questi paper

• Controlla il tasso di falsi positivi. Un dato di accuratezza senza questo valore è difficile da interpretare. Per questo DIPPER, Binoculars e RAID riportano tutti il rilevamento a un tasso di falsi positivi fisso e basso.
• Controlla quali modelli e domini sono stati testati. I risultati su GPT-2 o su testi giornalistici potrebbero non valere per un modello attuale che scrive una sezione dei metodi.
• Fai caso alla data. Gli strumenti commerciali si aggiornano spesso, quindi un punteggio del 2023 per un prodotto specifico è un'istantanea.
• Guarda chi viene segnalato per errore. Liang et al. e Weber-Wulff et al. mostrano entrambi che gli errori colpiscono soprattutto la scrittura di non madrelingua e i testi tradotti.

Il ruolo di Academic Humanizer

Letti insieme, questi paper mostrano che i detector reagiscono a statistiche superficiali che anche una scrittura umana accurata può avere. Academic Humanizer è pensato per i ricercatori le cui idee vengono etichettate in modo errato proprio per questo motivo. Humanizer riscrive solo le frasi che i detector segnalano, mantiene argomentazione, numeri e citazioni, e il suo AI Detection Report confronta bozza e risultato sulla stessa misura, così puoi rivedere ogni modifica. Come sempre, verifica la policy sull'AI del tuo ateneo o della rivista prima della consegna.