Quali frasi vengono segnalate come AI? Il rilevamento frase per frase

I rilevatori AI segnalano una frase quando sembra più prevedibile di come scrivono di solito le persone, e i soliti sospetti sono aperture generiche, frasi di orientamento e righe di sintesi. Il rilevamento AI frase per frase assegna un punteggio a ogni frase (o a una breve finestra di frasi) separatamente, poi combina quei punteggi in un risultato per il documento. Il rilevamento a livello di documento valuta invece l'intero testo in un colpo solo. Poiché quasi tutte le bozze reali sono miste, il modo in cui uno strumento aggrega poche frasi segnalate può decidere il verdetto sull'intero testo.

Se vuoi sapere quali frasi della tua bozza vengono segnalate come AI, ti serve una vista frase per frase. Questo articolo spiega come funzionano i due approcci, perché una manciata di frasi può ribaltare un documento, perché riscrivere solo quelle frasi è più sicuro che riscrivere tutto e cosa cambia quando si combinano diversi rilevatori.

Due modi di valutare un testo

Un rilevatore a livello di documento legge l'intero passaggio e restituisce un solo numero, spesso espresso come probabilità che il testo sia generato da AI. Ha molte prove su cui lavorare, quindi la stima è relativamente stabile. Lo svantaggio è che non può dirti da dove viene il segnale.

Un rilevatore frase per frase divide il testo in unità e valuta ciascuna. Molti strumenti poi evidenziano le unità segnalate e riportano la quota di testo che coprono. È più vicino a come si scrive davvero: si abbozzano alcuni paragrafi da soli, si chiede aiuto a un modello per altri e si corregge su entrambi. La ricerca ha seguito questa direzione. SeqXGPT, presentato a EMNLP 2023, ha costruito un dataset di documenti che mescolano frasi umane e frasi modificate dall'AI, riportando che i metodi precedenti faticavano a livello di frase, mentre il suo approccio funzionava sia a livello di frase sia di documento (Wang et al., EMNLP 2023).

We expected attendance to fall after the fee change, and in two of the three districts it did. These findings highlight the important role that economic factors play in shaping educational outcomes. The third district is the puzzle: attendance rose by four points, and the head teachers we interviewed credited a bus route that opened the same term. This suggests that transport access may moderate the effect of fees. Overall, the results underscore the need for a comprehensive approach to policy design.

Due frasi su cinque segnalate, una al limite. Un punteggio di documento confonderebbe tutto in un solo numero.

Nota quali frasi vengono segnalate nell'esempio. Sono le frasi riassuntive generiche, quelle che potrebbero chiudere quasi qualsiasi articolo. Le frasi con luoghi precisi, numeri e una causa con un nome risultano umane. È uno schema comune, ed è utile: ti dice esattamente dove concentrare la revisione.

Il problema del rumore nelle singole frasi

I punteggi delle frasi sono informativi ma, presi uno per uno, incerti. Una frase ha pochi token, quindi qualsiasi stima di prevedibilità poggia su prove scarse. Molti strumenti attenuano il problema valutando finestre sovrapposte, così l'etichetta di una frase dipende in parte dalle frasi vicine.

Turnitin è stato trasparente su questo effetto. In un articolo sui suoi tassi di falsi positivi ha indicato un tasso di falsi positivi a livello di frase intorno al 4%, e ha riportato che il 54% delle frasi falsamente positive si trova subito accanto a testo effettivamente scritto dall'AI (Turnitin). In altre parole, le frasi umane vicine a frasi segnalate hanno più probabilità di essere segnalate anch'esse.

La lettura pratica: considera una singola frase evidenziata come un invito a guardare meglio, non come una conclusione. Gli schemi in un paragrafo dicono più di una singola riga.

Perché poche frasi possono ribaltare il documento

Ogni strumento deve trasformare i punteggi delle frasi in un verdetto sul documento, e la regola scelta conta più di quanto la maggior parte degli utenti immagini. Le opzioni comuni includono il punteggio medio delle frasi, la quota di frasi sopra una soglia o una soglia separata su quella quota. Con una regola basata sulla quota, un abstract di 20 frasi con quattro frasi segnalate è al 20%, che può superare o meno una soglia di segnalazione. Correggine due e la quota si dimezza.

Contano anche i gruppi di frasi. Poiché nella valutazione a finestre le frasi vicine si influenzano a vicenda, tre frasi generiche di fila possono trascinare oltre la soglia una quarta frase umana. Spezza il gruppo e spesso la frase vicina torna pulita da sola. Ecco perché poche modifiche nei punti giusti possono cambiare il risultato di un documento più di tante modifiche distribuite in modo uniforme.

Per chi scrive in ambito accademico i colpevoli tipici sono prevedibili: frasi di contesto in apertura, frasi di orientamento ("This section discusses") e riassunti finali. Elenchiamo come correggerle in come rivedere le frasi che sembrano scritte da un'AI. Bibliografia e passaggi citati sono un caso a parte; vedi perché Turnitin segnala bibliografia e citazioni come AI.

Perché riscrivere solo le frasi segnalate

Se il rilevamento lavora frase per frase, dovrebbe farlo anche la revisione. Riscrivere un intero documento per correggere quattro frasi ha tre costi.

• Il rischio per il significato cresce con l'estensione. Ogni frase riscritta può perdere una cautela, un numero o il collegamento a una citazione. Riscrivere 4 frasi dà quattro occasioni di errore; riscriverne 40 ne dà quaranta. Vedi come preservare significato e citazioni.
• La tua voce scompare. Le frasi che risultano umane sono di solito quelle con le tue osservazioni specifiche. Una riscrittura globale le appiattisce.
• Possono comparire nuove segnalazioni. Un riscrittore applicato ovunque può rendere uniformi frasi prima pulite, alzando i punteggi altrove.

1. Valutare ogni fraseTrovare quali unità sembrano scritte da una macchina e quali risultano già umane.
2. Lasciare stare le frasi umaneRestituirle esattamente come sono state scritte, parola per parola.
3. Riscrivere quelle segnalateCambiare struttura e ritmo mantenendo affermazioni, numeri, citazioni e termini.
4. Rivalutare nel contestoControllare le nuove frasi all'interno dell'intero paragrafo, perché le frasi vicine influenzano i punteggi.
5. Ripetere se serveFare un secondo passaggio su ogni frase ancora segnalata.

Aggregare più rilevatori

Rilevatori diversi usano dati di addestramento, soglie e unità di analisi diverse, quindi spesso non sono d'accordo sulla stessa frase (ne spieghiamo i motivi in perché i rilevatori AI non sono d'accordo). Combinarli pone una domanda di progettazione speculare a quella tra frase e documento: una frase conta come segnalata se la segnala un rilevatore qualsiasi, o solo se la segnala la maggioranza?

Lo studio di Liang et al. mostra quanto conti questa scelta. Sottoponendo a sette rilevatori saggi TOEFL scritti da persone, gli autori hanno trovato che il 97,8% veniva segnalato da almeno un rilevatore, mentre il 19,8% veniva segnalato da tutti e sette (Liang et al., Patterns 2023).

• Segnalati da almeno un rilevatore97,8%
• Media tra i rilevatori61,3%
• Segnalati da tutti e sette19,8%

Fonte: Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

Stessi saggi, stessi rilevatori, tre numeri molto diversi. Una regola rigida del tipo "basta un rilevatore" evita di perdere testo AI ma qui segnala quasi tutti i saggi umani. Una regola "all'unanimità" è più clemente con chi scrive ma lascia passare di più. Nessuna delle due è giusta in assoluto; ciò che conta è sapere quale regola usa un report e leggerlo tenendone conto. Per chi scrive, controllare una bozza con diversi rilevatori offre un quadro più onesto di qualsiasi singolo punteggio, perché mostra dove gli strumenti concordano e dove una segnalazione è probabilmente rumore.

Come Academic Humanizer usa la valutazione frase per frase

Lo Humanizer di Academic Humanizer è costruito su questa logica frase per frase. Analizza la tua bozza per trovare le frasi che i rilevatori AI segnalano, riscrive solo quelle e restituisce le frasi già lette come umane esattamente come le hai scritte. Se nulla viene segnalato, il risultato coincide con il testo di partenza e non vengono addebitati crediti. L'AI Detection Report abbina ogni frase segnalata alla sua riscrittura e confronta bozza e risultato sulla stessa misura, la quota di frasi lette come umane, con risultati verificati su Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling e Originality.ai. Se alcune frasi restano segnalate, il report lo indica e puoi elaborare di nuovo quei passaggi.