Turnitin rileva i watermark AI? Il watermarking degli LLM spiegato

La descrizione pubblica che Turnitin dà del suo rilevatore AI è quella di un classificatore addestrato che valuta gli schemi di scrittura; non menziona la lettura di watermark. Il watermarking degli LLM è un'idea diversa: un modo per nascondere un segnale statistico nel testo generato dall'AI nel momento stesso in cui viene scritto, così che un software in possesso di una chiave segreta possa poi confermarne la provenienza. Il metodo più noto, "A Watermark for Large Language Models" di John Kirchenbauer e colleghi (ICML 2023), spinge il modello verso un insieme segreto e casuale di parole "verdi". I lettori non lo vedono, ma un semplice test statistico può contare le parole verdi e rilevare lo schema anche in un passaggio breve.

I watermark compaiono spesso nelle discussioni sul rilevamento AI e sono spesso fraintesi. Questo articolo spiega come funziona il metodo green list, cosa ha riportato il paper, come le modifiche indeboliscono il segnale e cosa è davvero in uso oggi.

Come funziona il watermark green list

Un modello linguistico scrive un token alla volta, dove un token è una parola o un pezzo di parola. Prima di scegliere ogni token, lo schema di watermarking fa quanto segue:

1. Seme dal token precedenteCalcola l'hash del token appena generato per inizializzare un generatore di numeri casuali.
2. Divisione del vocabolarioUsa quel seme per dividere l'intero vocabolario in una green list (una frazione γ delle parole) e una red list (il resto).
3. Spostare le probabilitàAggiunge un piccolo bonus, δ, ai punteggi dei token verdi prima del campionamento, così le parole verdi diventano più probabili.
4. Campionare normalmenteSceglie il token successivo. Ripete per ogni posizione del testo.

Il paper descrive due versioni. Un watermark rigido vieta del tutto i token rossi, il che può rovinare il testo quando l'unica parola sensata successiva è rossa. Il watermark morbido, quello a cui si pensa di solito, sposta solo le probabilità. Quando il modello è sicuro (bassa entropia, come "Barack" seguito da "Obama"), il bonus pesa poco e la qualità è protetta. Quando molte parole andrebbero ugualmente bene, è il bonus a decidere, e le parole verdi si accumulano.

The survey results suggest that rural clinics face persistent staffing gaps across both regions.

Esempio illustrativo. Verde = token nella green list di quella posizione, rosso = red list. Un testo senza watermark mostrerebbe circa una quota γ di verde.

Rilevare il watermark: lo z-test

Il rilevamento non richiede l'accesso al modello. Chiunque possieda la chiave di hashing segreta può ricostruire la green list di ogni posizione a partire dal token precedente e contare quanti token del passaggio sono verdi. Il testo umano non sa nulla delle liste, quindi circa una frazione γ dei suoi token sarà verde per caso. Il testo con watermark ne avrà di più.

Il test chiede quanto sia sorprendente il numero di token verdi. Con T token, di cui G verdi, il paper usa lo z-test per una proporzione:

z = (G − γT) / √(T × γ × (1 − γ))

Se z supera una soglia, il testo viene segnalato come dotato di watermark. Con una soglia di z = 4, la probabilità che un testo senza watermark la superi per caso è di circa 0,00003, cioè tre su centomila. Il calcolo mostra anche perché possono bastare porzioni brevi: con γ = 0,5 e un watermark rigido, 16 token tutti verdi danno già z = 4.

Negli esperimenti del paper con un modello OPT da diversi miliardi di parametri, sequenze di circa 200 token, δ = 2 e γ = 0,5 con il normale campionamento multinomiale, il test ha individuato il 98,4% dei testi con watermark, senza falsi positivi in quella configurazione. Un δ più grande rende il watermark più forte e più facile da rilevare, a scapito di un po' di qualità del testo.

Quanto resiste il watermark alle modifiche

Poiché la green list di ogni posizione dipende dal token precedente, cambiare una parola altera lo stato verde o rosso di un paio di posizioni, non dell'intero testo. Gli autori hanno testato un attacco che sostituiva porzioni di testo con un modello T5. Il watermark si è indebolito, ma le sostituzioni hanno anche peggiorato sensibilmente il testo, quindi c'era un compromesso tra eliminare il segnale e mantenere la scrittura utilizzabile.

Lavori successivi hanno testato attacchi più duri:

• Parafrasi. Sadasivan e colleghi hanno riportato che la parafrasi ricorsiva riduceva il rilevamento di passaggi con watermark da 300 token dal 99,3% al 9,7%, con un tasso di falsi positivi dell'1%. Vedi il testo generato dall'AI si può rilevare in modo affidabile?
• Spoofing. Lo stesso paper ha mostrato che un attaccante poteva stimare le green list dagli output del modello e falsificare testo umano che sembrava avere il watermark, portando l'AUROC del rilevatore dal 99,8% all'1,3%.
• Una difesa dell'affidabilità. Il gruppo di Kirchenbauer ha risposto con "On the Reliability of Watermarks for Large Language Models" (ICLR 2024): i watermark restavano rilevabili dopo parafrasi umane e automatiche, perché le parafrasi conservano frammenti dell'originale. In una configurazione con una forte riformulazione umana, il rilevamento richiedeva in media circa 800 token con un tasso di falsi positivi molto basso.

La sintesi onesta: le modifiche leggere lasciano intatto il watermark, la riscrittura pesante lo indebolisce e i testi più lunghi danno al rilevatore più materiale su cui lavorare. Il nostro articolo sulla parafrasi con DIPPER approfondisce il lato della riscrittura.

Perché i watermark non sono ciò che usa Turnitin

Un watermark si può trovare solo nel testo di un modello che lo ha applicato, e solo da chi possiede la chiave. La maggior parte dei testi che le persone incollano in un rilevatore proviene da molti modelli diversi, quasi nessuno dei quali condivide una chiave di watermark con un fornitore di rilevamento. Per questo i rilevatori commerciali funzionano diversamente. La descrizione pubblica che Turnitin fornisce del suo rilevamento della scrittura AI parla di un classificatore transformer addestrato: il testo viene diviso in segmenti sovrapposti, ogni frase riceve un punteggio e i punteggi vengono combinati in una stima per l'intero documento. In quella descrizione nulla riguarda la lettura di un watermark. Spieghiamo l'indicatore in il punteggio di rilevamento AI di Turnitin spiegato e i diversi tipi di rilevatori in come funzionano i rilevatori AI. Cosa Turnitin dichiara di rilevare tra i diversi chatbot è trattato in Turnitin rileva ChatGPT, Claude e Gemini?

A che punto è il watermarking nell'industria

Il watermarking è passato dalla ricerca ad almeno un grande sistema in produzione. Nell'ottobre 2024 Google DeepMind ha pubblicato su Nature "Scalable watermarking for identifying large language model outputs", che descrive SynthID-Text: modifica solo la fase di campionamento e rileva il watermark senza eseguire il modello linguistico. Il gruppo ha riportato un esperimento dal vivo su quasi 20 milioni di risposte di Gemini che non ha mostrato alcun calo nella qualità valutata dagli utenti.

OpenAI ha scelto una linea più prudente. In un aggiornamento dell'agosto 2024 ha dichiarato che il proprio metodo di watermarking del testo era molto accurato contro manomissioni localizzate come la parafrasi, ma meno contro cambiamenti globali come la traduzione o la riformulazione con un altro modello, e che poteva penalizzare in modo sproporzionato gruppi come chi non è madrelingua inglese. All'epoca non aveva rilasciato lo strumento.

Quindi i watermark esistono e funzionano nel caso ristretto per cui sono stati creati: confermare che un testo è stato prodotto dal modello di un determinato fornitore. Non rispondono alla domanda generale se in un manoscritto sia stata usata una qualsiasi AI.

Che cosa c'entra con Academic Humanizer

Per la maggior parte dei ricercatori, i rilevatori che contano ogni giorno sono classificatori che valutano lo stile di ogni frase, non lettori di watermark. È a questo livello che lavora Academic Humanizer: trova le frasi che i rilevatori segnalano, riscrive solo quelle mantenendo intatti affermazioni, numeri, citazioni e termini, e lascia il resto della bozza come l'hai scritto. L'AI Detection Report mette ogni frase segnalata accanto alla sua riscrittura perché tu possa rivederla, e resta comunque necessario seguire le regole sulla dichiarazione dell'uso dell'AI della tua università o rivista.