I rilevatori AI segnalano chi non è madrelingua inglese? Test reale

I rilevatori AI segnalano come AI l'inglese di chi non è madrelingua? La ricerca pubblicata dice che spesso lo fanno, ma nel nostro test sul paragrafo di discussione di un ricercatore reale non è successo. Formulazioni stereotipate, un repertorio limitato di connettivi e strutture da manuale sono proprio ciò che i rilevatori sono sospettati di punire, quindi abbiamo testato un paragrafo scritto a mano da un ricercatore non madrelingua inglese in scienza dei materiali, esattamente il tipo di testo a cui si riferisce quella preoccupazione.

Il risultato è stato poco spettacolare, ed è proprio questo il punto. Quattro modelli di rilevamento su cinque l'hanno letto come umano, nessuna frase è stata segnalata, Humanizer v2 non ha cambiato nulla e l'elaborazione non è costata nulla.

Perché questo testo sembrava a rischio

Leggilo come potrebbe leggerlo un rilevatore. Le frasi iniziano con formule fisse: "In this study, we found that", "It is considered that", "Therefore, it is important to", "These results suggest that". Il lessico è ristretto e ripetitivo. La grammatica porta i segni di chi ha imparato l'inglese come seconda lingua: "The reason of this improvement", "the tensile strength was decreased", "for obtaining the best mechanical properties".

La ricerca alla base di questa preoccupazione è reale. Liang e colleghi a Stanford hanno sottoposto saggi scritti per il TOEFL da non madrelingua a sette rilevatori GPT molto diffusi e hanno trovato un tasso medio di falsi positivi del 61,22%. Il 97,80% di quei saggi è stato segnalato come generato da AI da almeno un rilevatore. Riassumiamo il paper in i rilevatori GPT penalizzano chi scrive in inglese come seconda lingua.

Una previsione ragionevole sarebbe stata quindi almeno qualche frase segnalata. Non è andata così.

Cosa hanno detto i rilevatori

Il verdetto del report sulla bozza è stato "scritto da una persona". Quattro dei cinque modelli di rilevamento hanno votato umano e uno ha votato AI. A livello di frase, tutte e nove le frasi sono state lette come umane; nessuna segnalata e nessuna incerta.

In this study, we found that the addition of 2 wt% graphene oxide improved the tensile strength of the epoxy composite by 27% compared to the neat epoxy. This result is consistent with the previous studies which reported similar improvement in the range of 20-35%. The reason of this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength was decreased. It is considered that the agglomeration of graphene oxide sheets occurred at higher content, and these agglomerates acted as stress concentration points. This tendency was also confirmed by the SEM images, which showed the clusters of sheets on the fracture surface. Therefore, it is important to optimize the filler content for obtaining the best mechanical properties. In addition, the glass transition temperature was slightly increased from 142 to 147 degrees, which means the mobility of polymer chains was restricted by the graphene oxide. These results suggest that the graphene oxide/epoxy composite can be a promising material for the lightweight structural applications.

Analisi reale della nostra elaborazione di prova. Tutte e nove le frasi lette come umane.

• Paragrafo originale1 su 5
• Output di Humanizer v2 (invariato)1 su 5

Fonte: elaborazione di produzione con Humanizer v2. Stesso testo, stessi voti.

Cosa ha fatto Humanizer v2: niente, di proposito

Humanizer v2 riscrive solo le frasi che i rilevatori segnalano. Senza frasi segnalate non c'era nulla da riscrivere, quindi l'output è il testo di partenza, carattere per carattere.

1. Ricerca di segnali AINove frasi analizzate; nessuna segnalata, tutte e nove lette come umane.
2. Riscrittura delle frasi segnalateNulla da riscrivere, quindi nessuna frase modificata.
3. Nuovo controllo con i rilevatori AIStesso testo, stesso risultato: scritto da una persona, con quattro modelli su cinque che votano umano.
4. Salvataggio del risultatoUn'elaborazione senza modifiche costa 0 crediti, anche se altrimenti 1.235 caratteri sarebbero stati 3.

È questo il comportamento che conta di più per chi non è madrelingua. Uno strumento che parafrasa tutto avrebbe sostituito le frasi di questo autore con quelle di qualcun altro, introdotto nuove formulazioni a cui i rilevatori potrebbero reagire e fatto pagare il servizio. Lasciare intatta la scrittura umana non è una funzione mancante. È una scelta di progetto.

Leggere questo risultato con attenzione

Un solo paragrafo di prova non smentisce uno studio pubblicato, e non va letto come "ormai i rilevatori non hanno più problemi con la scrittura dei non madrelingua". Tre cautele:

• Il disaccordo era reale. Uno dei cinque modelli ha votato AI. Se avessi controllato con un solo strumento che si comporta come quello, avresti visto un verdetto AI su un testo scritto da una persona. È lo schema documentato da Liang e colleghi, ed è per questo che confrontiamo più modelli invece di fidarci di uno solo. Vedi perché i rilevatori AI non sono d'accordo.
• Le discussioni contengono dettagli concreti. Questo paragrafo è pieno di valori precisi (2 wt%, 27%, 20-35%, 3 wt%, da 142 a 147 gradi) e di prove con un nome (immagini SEM, superficie di frattura). Un testo legato a risultati specifici può essere letto in modo diverso da un breve saggio generico come quelli usati nello studio sul TOEFL.
• Il tuo testo non è questo testo. Un paragrafo con una cornice più generica potrebbe essere segnalato. Il report te lo dice frase per frase, il che è più utile di un singolo punteggio.

La grammatica è un altro lavoro

Risultare umano non significa essere pronto per una rivista. Il paragrafo contiene ancora errori che un redattore segnerebbe, e un humanizer non è lo strumento per correggerli. Il suo compito è cambiare le frasi che i rilevatori segnalano; non tocca le frasi già lette come umane, errori compresi.

Prima

The reason of this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength was decreased. In addition, the glass transition temperature was slightly increased from 142 to 147 degrees, which means the mobility of polymer chains was restricted by the graphene oxide.

Dopo

The reason for this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength decreased. In addition, the glass transition temperature was slightly increased from 142 to 147 °C, which means the mobility of polymer chains was restricted by the graphene oxide.

L'ultima correzione presuppone che i valori siano in gradi Celsius; solo l'autore conosce l'unità, e l'originale non la indica. Altre possibili correzioni: "the previous studies which reported" (togliere "the"), "for the lightweight structural applications" (togliere "the") e "It is considered that", che molte riviste trasformerebbero in "We attribute this to".

Una nota pratica. Se passi questo paragrafo in uno strumento AI di correzione grammaticale o di rifinitura, la versione modificata potrebbe essere letta dai rilevatori in modo diverso dall'originale. Ricontrollala dopo. Il report ha un verdetto apposito per questo caso, "scritto da una persona e rifinito con AI", così puoi capire a che punto sei. Il nostro confronto tra humanizer, parafrasatori e correttori grammaticali spiega quale strumento fa cosa.

Cosa significa per i ricercatori non madrelingua inglese

Se scrivi da solo le tue bozze in uno stile formale e formulaico, il rischio di una falsa segnalazione è reale ma non certo, e la risposta giusta è controllare, non riscrivere preventivamente. Riscrivere un testo umano per farlo sembrare "più umano" può peggiorare le cose.

Academic Humanizer è stato creato tenendo conto di questo: analizza la tua bozza, riscrive solo le frasi che i rilevatori segnalano, restituisce intatte le tue frasi e non addebita nulla quando non cambia nulla. Se sei già stato segnalato, la nostra guida su cosa fare se vieni segnalato ingiustamente come AI è una buona lettura successiva.