Riformulare un testo AI basta contro i rilevatori? DIPPER spiegato

La parafrasi supera il rilevamento AI? In un test del 2023, per lo più sì: alcuni ricercatori della UMass Amherst e di Google hanno mostrato che un solo passaggio con un buon modello di parafrasi poteva far sfuggire il testo generato da AI alla maggior parte dei detector, lasciandone il significato quasi intatto. Il loro paper, presentato a NeurIPS 2023, ha ridotto il tasso di rilevamento di DetectGPT dal 70,3% al 4,6% con un tasso di falsi positivi fisso dell'1%. Ha anche proposto una difesa che non si basa affatto sulla lettura dello stile del testo.

Il paper è il punto di partenza di gran parte degli studi successivi sugli AI humanizer e sulla resistenza dei detector. Ecco cosa ha fatto, cosa ha scoperto e cosa significa per chi scrive con l'aiuto dell'AI.

Cos'è DIPPER

DIPPER (abbreviazione di Discourse Paraphraser) è un modello da 11 miliardi di parametri ottenuto con il fine-tuning di T5-XXL. All'epoca la maggior parte dei parafrasatori lavorava una frase alla volta. DIPPER è stato addestrato a riscrivere paragrafi interi, a usare il contesto circostante come il prompt originale e a riordinare i contenuti tra una frase e l'altra.

I dati di addestramento provenivano da PAR3, un dataset di più traduzioni inglesi degli stessi romanzi non inglesi. Due traduttori che rendono lo stesso paragrafo producono parafrasi naturali l'uno dell'altro, con scelte lessicali e ordine delle frasi diversi ma lo stesso contenuto. Questo ha dato al modello esempi realistici di come le persone esprimono la stessa idea in modi diversi.

DIPPER ha due parametri di controllo, entrambi impostati al momento dell'inferenza:

• Diversità lessicale (L): quanto cambiano le parole. Gli autori osservano che L = 20 corrisponde all'incirca a una modifica lessicale del 20%.
• Diversità d'ordine (O): quanto vengono riordinati i contenuti all'interno del paragrafo.

Negli esperimenti principali L era impostato a 20, 40 o 60 e O a 0 o 60, e ogni testo è stato parafrasato una sola volta, senza ritentare finché non passava.

Come è stato impostato il test

Gli autori hanno generato testi da 300 token con tre modelli di dimensioni molto diverse: GPT-2 XL (1,5 miliardi di parametri), OPT-13B e GPT-3.5 (text-davinci-003). I compiti erano la continuazione libera di passaggi di Wikipedia e la risposta estesa a domande (long-form QA).

Hanno poi testato cinque detector: il watermark di Kirchenbauer et al., DetectGPT, GPTZero, l'AI text classifier di OpenAI e RankGen. Ogni detector è stato calibrato su un tasso di falsi positivi dell'1%, cioè solo 1 testo umano su 100 sarebbe stato segnalato per errore. Gli autori sostengono che sia il modo corretto di giudicare i detector, aggiungendo che anche l'1% è probabilmente troppo alto nella pratica.

Per verificare che le parafrasi mantenessero il significato hanno usato P-SP, un modello di somiglianza semantica, oltre a una valutazione umana.

Cosa è successo ai tassi di rilevamento

• DetectGPT, testo di GPT-2 XL70,3%
• DetectGPT, dopo la parafrasi4,6%
• Watermark, testo di GPT-2 XL100%
• Watermark, dopo la parafrasi57,2%
• Classificatore OpenAI, testo di GPT-3.530,0%
• Classificatore OpenAI, dopo la parafrasi15,6%

Fonte: Krishna et al. 2023, sezione 4.3 (generazione libera da Wikipedia).

Su tutti i modelli, detector e compiti, la parafrasi ha abbassato il rilevamento a ogni livello di diversità. Allo stesso tempo, tra l'88% e il 99% delle parafrasi ha ottenuto un punteggio superiore alla somiglianza mediana di coppie di parafrasi scritte da persone, quindi il significato è stato in gran parte preservato.

Spiccano altri due risultati:

• Il watermarking è stato il più resistente. Ha comunque individuato la maggioranza dei testi di GPT-2 XL parafrasati, perché alcuni token marcati sopravvivono alla riformulazione. La sua forza deriva da un segnale inserito al momento della generazione, un tipo di prova diverso dallo stile. Leggi la nostra spiegazione sul watermarking per capire come funziona quel segnale.
• I detector senza watermark erano deboli già prima della parafrasi sui modelli più grandi. In questi contesti GPTZero e RankGen hanno individuato meno del 15% del testo AI non parafrasato, e nel long-form QA DetectGPT è sceso dal 74,9% su GPT-2 XL al 29,8% su OPT-13B. OpenAI ha ritirato il suo classificatore a luglio 2023, citando la scarsa accuratezza.

Perché una riscrittura che preserva il significato cambia il verdetto

Il risultato sembra sorprendente finché non si ricorda cosa misurano questi detector. Come spieghiamo in come funzionano i detector AI, i detector statistici come DetectGPT valutano quanto è probabile ogni token secondo un modello linguistico. Un detector a watermark conta i token di una "lista verde" segreta. Nessuno dei due legge l'argomentazione.

Una parafrasi conserva l'argomentazione ma ridisegna le singole scelte lessicali a partire dalla distribuzione di un altro modello. I token che facevano sembrare il testo originale generato, o marcato, vengono sostituiti con token diversi che significano la stessa cosa. Il detector vede una nuova impronta statistica; il lettore vede lo stesso paragrafo.

È questa l'intuizione centrale che il paper consegna a chi è venuto dopo: il rilevamento basato sullo stile misura la forma superficiale, e la forma superficiale può cambiare mentre il significato resta fisso. La stessa idea spiega perché una leggera revisione umana confonde i detector nei test in classe, e perché il paper di Sadasivan et al., uscito più o meno nello stesso periodo, sosteneva che il rilevamento potrebbe avere limiti strutturali.

La difesa basata sul retrieval

La seconda metà del paper propone una difesa che non dipende dallo stile. Invece di chiedersi "sembra scritto da una macchina?", si chiede "il nostro modello ha scritto qualcosa con questo significato?"

1. ArchiviareIl fornitore del modello linguistico conserva in un database ogni output generato dalla sua API.
2. CodificareIl testo da controllare viene trasformato in una rappresentazione del suo contenuto.
3. CercareIl sistema cerca generazioni archiviate con contenuto corrispondente, usando BM25 o il modello semantico P-SP.
4. DecidereSe esiste una corrispondenza abbastanza vicina, il testo viene segnalato come proveniente dal modello di quel fornitore.

Poiché una parafrasi conserva il contenuto, corrisponde ancora all'originale archiviato. Con un database di 15 milioni di generazioni, il retrieval ha rilevato dall'80% al 97% dei testi parafrasati nei vari contesti, segnalando solo l'1% del testo umano. Nel long-form QA il retrieval con BM25 ha individuato il 97,8%, il 97,3% e il 96,2% dei testi più pesantemente parafrasati dei tre modelli, contro il 55,8%, il 51,4% e il 38,1% del miglior detector concorrente.

Gli autori discutono apertamente i limiti. Il retrieval funziona solo se il fornitore lo attiva, può rilevare solo gli output di quel fornitore e solleva questioni concrete su archiviazione, privacy e falsi abbinamenti man mano che i database crescono. I modelli open-weight eseguiti in locale ne restano completamente fuori.

La linea di ricerca sugli humanizer

DIPPER ha definito lo schema su cui si sono basati gli studi successivi: trasformare il testo AI con un modello separato, misurare il rilevamento con un tasso di falsi positivi fisso e basso, e verificare che il significato sia sopravvissuto. SICO ha mostrato lo stesso effetto usando solo il prompting. Il benchmark RAID ha reso la parafrasi uno degli undici attacchi standard. Studi più recenti guidano la parafrasi con il feedback del detector stesso.

Per chi scrive in ambito accademico, la lezione non è una ricetta. È un avvertimento su cosa può significare il verdetto di un detector. Una segnalazione, o la sua assenza, riflette quanto le statistiche superficiali di un testo corrispondono alle aspettative di un modello. Non dice nulla di affidabile su chi abbia avuto le idee. Per questo bozze e appunti contano più di qualsiasi punteggio, ed è per questo che dovresti verificare le regole del tuo ateneo o della rivista sull'assistenza dell'AI e dichiararla dove richiesto. Da allora anche i rilevatori commerciali sono cambiati; vedi Turnitin rileva il testo umanizzato?

Il posto di Academic Humanizer

Academic Humanizer applica la lezione di questa ricerca nella direzione opposta: poiché i detector reagiscono agli schemi superficiali, l'obiettivo è cambiare il meno possibile mantenendo ciò che conta. Humanizer riscrive solo le frasi che i detector segnalano, lascia il resto esattamente come scritto e mantiene al loro posto affermazioni, numeri, cautele e citazioni. Il suo AI Detection Report affianca ogni frase segnalata alla sua riscrittura, così puoi verificare il significato riga per riga prima di usare il risultato.