Si possono ingannare i rilevatori AI? SICO e l'elusione con i prompt

Si possono ingannare i rilevatori AI con un solo prompt, senza alcun modello di parafrasi aggiuntivo? Un paper del 2024 su Transactions on Machine Learning Research dice di sì. Il suo metodo, SICO, costruisce un prompt a partire da qualche decina di esempi umani e, nei test degli autori, ha portato sei rilevatori a prestazioni simili al lancio di una moneta.

Un paper presentato a NeurIPS 2025 è andato oltre, guidando un parafrasatore token per token con i punteggi di un rilevatore. Letti insieme, i due paper parlano meno di trucchi ingegnosi e più di una debolezza strutturale nel modo in cui sono costruiti i rilevatori. Questo articolo li spiega entrambi e ne trae le implicazioni.

Cosa fa SICO, in parole semplici

SICO sta per Substitution-based In-Context example Optimization. I lavori precedenti sull'elusione, come il parafrasatore DIPPER, addestravano un modello separato per riscrivere il testo AI. SICO si pone una domanda diversa: se i grandi modelli sono bravi a seguire esempi, gli esempi giusti dentro un prompt possono fare lo stesso lavoro?

A grandi linee il metodo ha tre parti:

• Descrivere la differenza. Al modello vengono mostrate coppie di risposte scritte dall'AI e da persone agli stessi compiti, e gli si chiede di descrivere cosa distingue la scrittura umana.
• Affinare gli esempi. Gli esempi in-context vengono migliorati in più cicli con sostituzioni di sinonimi a livello di parola e riformulazioni a livello di frase. Un rilevatore proxy valuta ogni candidato, e si conservano le modifiche che rendono gli esempi meno simili a una macchina, con il vincolo che il significato resti simile.
• Riutilizzare il prompt. Il prompt finale (la descrizione delle caratteristiche, l'istruzione del compito e gli esempi affinati) può poi essere usato per nuovi input dello stesso compito.

La preparazione costa poco. Gli autori riportano di aver avuto bisogno di soli 40 esempi scritti da persone e di un numero limitato di chiamate al modello, circa 1 USD di utilizzo dell'API di GPT-3.5 secondo la loro stima. SICO esiste in due forme: SICO-Gen scrive direttamente l'output del compito, SICO-Para riscrive un output AI già esistente. Le istruzioni semplici come "scrivi come un umano" sono un'altra cosa; vedi perché i prompt semplici tendono a fallire.

Come è stato testato

Gli esperimenti hanno usato GPT-3.5 su tre compiti: scrittura di saggi accademici (completare paragrafi di Wikipedia dal dataset SQuAD), risposta a domande aperte (domande di ELI5) e recensioni false su Yelp. Ogni compito aveva 200 testi generati dall'AI e 200 scritti da persone.

Sono stati testati sei rilevatori: un modello RoBERTa addestrato su testo di GPT-3.5 (usato anche come proxy durante l'ottimizzazione), il rilevatore di output GPT-2 di OpenAI, GPTZero, il classificatore di testo AI di OpenAI, DetectGPT e un metodo log-rank. SICO è stato confrontato con quattro baseline di parafrasi, tra cui DIPPER e un prompt scritto a mano del tipo "fallo sembrare umano".

La qualità dei rilevatori è stata misurata con l'AUC, dove 1,0 significa separazione perfetta tra testo AI e umano e 0,5 non è meglio del caso.

Cosa mostrano i risultati

SICO ha battuto ogni baseline in ogni configurazione e nella maggior parte dei casi ha portato l'AUC dei rilevatori sotto 0,5. Sul compito di scrittura accademica i cali sono stati grandi:

• DetectGPT, originale0,834
• DetectGPT, SICO-Para0,149
• GPTZero, originale0,779
• GPTZero, SICO-Para0,290
• Rilevatore GPT-3.5, originale0,908
• Rilevatore GPT-3.5, SICO-Para0,239

Fonte: Lu et al. 2024, Tabella 1 (compito di scrittura). Un'AUC di 0,5 equivale a tirare a indovinare.

Un'AUC ben sotto 0,5 significa che il rilevatore ha classificato il testo SICO come più umano dei testi realmente umani. Per confronto, DIPPER sullo stesso compito ha portato GPTZero solo a 0,689.

Anche la qualità ha tenuto. Nella valutazione umana sul compito di scrittura, il testo SICO-Gen ha ottenuto 3,84 di leggibilità contro 3,92 del testo umano, e ha completato il compito nel 93,6% dei casi contro il 98,2% di chi scriveva. DIPPER si è fermato al 70,6% di completamento.

Gli autori hanno testato anche una difesa. Affiancare al rilevatore originale un secondo rilevatore addestrato su testo SICO, prendendo il punteggio più alto, ha portato l'AUC sulla scrittura SICO-Para da 0,332 a 0,762 per il rilevatore GPT-2, quasi senza perdite sul normale testo AI.

Adversarial Paraphrasing: guidare la parafrasi con il rilevatore stesso

Il gruppo dell'Università del Maryland autore di questo paper è partito da un'osservazione corretta: i rilevatori più recenti, soprattutto quelli addestrati su testo parafrasato, erano diventati più difficili da ingannare con la semplice parafrasi. Nei loro test la parafrasi semplice ha addirittura aumentato il tasso di veri positivi all'1% di falsi positivi dell'8,57% su RADAR e del 15,03% su Fast-DetectGPT.

Il loro metodo non richiede addestramento. Un modello di istruzioni già pronto (LLaMA-3-8B nella loro configurazione) parafrasa il testo, e a ogni passo un rilevatore valuta i token successivi candidati; viene scelto il candidato che sembra meno AI. Gli autori lo descrivono come una ricerca guidata dal rilevatore con profondità di un solo token.

Guidato da un rilevatore OpenAI RoBERTa-Large, l'attacco ha ridotto il tasso di veri positivi all'1% di falsi positivi del 64,49% su RADAR e del 98,96% su Fast-DetectGPT, con una riduzione media dell'87,88% su otto rilevatori che spaziano da classificatori neurali a watermark e metodi zero-shot. La parola chiave è trasferimento: ottimizzare contro un rilevatore ha indebolito rilevatori di tipo completamente diverso. Gli autori riportano cali di qualità del testo per lo più lievi e analizzano esplicitamente questo compromesso.

Cosa dice questa ricerca sulla robustezza dei rilevatori

Tolti i nomi dei metodi, i due paper sostengono la stessa cosa. Un rilevatore è un classificatore che ha imparato un confine tra due distribuzioni di testo. Qualunque cosa possa interrogare un rilevatore, o un sostituto ragionevole, può imparare dove si trova quel confine. SICO ci è riuscito con una manciata di esempi nel prompt, Adversarial Paraphrasing con scelte token per token. Nessuno dei due aveva bisogno di conoscere il funzionamento interno del rilevatore.

Ne seguono tre conseguenze pratiche:

• Il rilevamento diventa una corsa agli armamenti. Difese come l'ensemble di SICO o l'addestramento avversariale aiutano contro gli attacchi noti, e ogni nuovo attacco sposta di nuovo il confine.
• Il trasferimento significa che nessun rilevatore è al sicuro solo perché è diverso. Ottimizzare contro un modello ne ha indeboliti altri, in linea con il quadro più ampio del benchmark RAID.
• La forma superficiale non è la paternità. Se piccole modifiche che preservano il significato ribaltano un verdetto, il verdetto seguiva statistiche di stile, non chi ha fatto il lavoro intellettuale. È lo stesso motivo per cui vengono segnalati autori umani attenti, in particolare chi scrive in inglese come seconda lingua.

Niente di tutto questo rende accettabile aggirare le regole di un corso. Entrambi i paper presentano il proprio lavoro come stress test che mettono in luce debolezze perché il rilevamento possa migliorare. Se usi strumenti AI nel lavoro accademico, la strada onesta è seguire la policy della tua università o rivista, dichiarare l'uso dove richiesto e conservare le bozze così che il tuo processo sia visibile.

Il ruolo di Academic Humanizer

Per i ricercatori, la lezione utile di questa letteratura è che significato e verdetti dei rilevatori possono separarsi. Academic Humanizer è costruito per mantenere fisso il significato: Humanizer riscrive solo le frasi che i rilevatori segnalano, preserva affermazioni, numeri, terminologia e citazioni e lascia intatte le frasi che risultano umane. È validato con Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling e Originality.ai, e l'AI Detection Report mostra ogni riscrittura accanto all'originale, così approvi tu ogni modifica.