Sezione Metodi e rilevamento AI: perché Humanizer non ha toccato nulla

Le sezioni Metodi si comportano in modo diverso davanti al rilevamento AI. Abbiamo passato in Humanizer v2 una sezione Metodi di psicologia scritta con l'AI, aspettandoci un elenco di frasi segnalate. Invece ogni frase è risultata incerta, il verdetto del report è stato "scritto da una persona" e Humanizer v2 non ha cambiato nulla né addebitato nulla.

I rilevatori però non erano d'accordo tra loro: tre modelli su cinque hanno votato AI e due hanno votato umano. Questo articolo spiega cosa significa questa divisione, perché la prosa dei Metodi la produce e cosa dovrebbe ricavare un autore da un'elaborazione che lascia il testo com'è.

Il testo

La bozza descrive un esperimento 2 x 2 tra soggetti sul framing dei messaggi e sulla credibilità della fonte. È densa dei dettagli richiesti dagli standard di reporting: criteri di idoneità, numerosità del campione ed esclusioni, dati demografici, disegno, randomizzazione, materiali, misure con relativa affidabilità, compenso e approvazione etica. Ecco come l'ha letta l'analisi frase per frase.

Participants were recruited through an online research platform and were required to be fluent in English and between 18 and 65 years of age. A total of 412 individuals completed the study, of whom 23 were excluded for failing two or more attention checks, resulting in a final sample of 389 participants (M age = 34.7, SD = 11.2; 52% female). The study employed a 2 x 2 between-subjects design, with message framing (gain vs. loss) and source credibility (high vs. low) as independent variables. Participants were randomly assigned to one of the four conditions using the platform's built-in randomization feature. After providing informed consent, participants read a short article about the benefits of regular physical activity, which was manipulated according to the assigned condition. Subsequently, they completed a series of validated measures, including the 7-item Intentions to Exercise Scale (alpha = .89) and a 5-item perceived credibility scale (alpha = .91). Finally, participants were debriefed and compensated with $2.50 for their time. The study protocol was approved by the university's Institutional Review Board, and all procedures were conducted in accordance with the Declaration of Helsinki.

Analisi reale della nostra elaborazione di prova. Tutte e otto le frasi incerte: ciascuna pendeva leggermente verso l'AI, ma nessuna è stata segnalata.

Otto frasi, otto segni color ambra. Nessuna è stata letta con sicurezza come AI, e nessuna è stata letta con sicurezza come umana.

Cosa ha fatto Humanizer v2

1. Ricerca di segnali AITutte e otto le frasi incerte; nessuna segnalata.
2. Riscrittura delle frasi segnalateNessuna frase segnalata, quindi nessuna frase modificata.
3. Nuovo controllo con i rilevatori AIStesso testo, stesso risultato: scritto da una persona, con tre modelli su cinque che votano AI.
4. Salvataggio del risultatoZero modifiche costano 0 crediti; altrimenti 1.214 caratteri sarebbero stati 3.

Humanizer v2 riscrive le frasi che i rilevatori segnalano. Incerto non significa segnalato, quindi nessuna frase rientrava nei criteri. L'output coincide con il testo di partenza carattere per carattere.

• Sezione Metodi scritta con l'AI3 su 5
• Output di Humanizer v2 (invariato)3 su 5

Fonte: elaborazione di produzione con Humanizer v2. Verdetto del report in entrambi i casi: scritto da una persona.

Perché la prosa dei Metodi si comporta così

I rilevatori cercano testo più prevedibile di quanto le persone scrivano di solito. Le sezioni Metodi rompono questo presupposto, perché devono essere prevedibili. Alcuni motivi per cui questo testo resta a metà strada:

• Anche le persone scrivono i Metodi seguendo modelli. "Participants were randomly assigned to one of the four conditions" e "approved by the university's Institutional Review Board" sono frasi che migliaia di ricercatori in carne e ossa hanno scritto quasi parola per parola. Gli standard di reporting spingono tutti verso la stessa struttura. Quando testo umano e testo automatico convergono sulle stesse parole, un rilevatore ha poco su cui distinguerli.
• Numeri e notazioni spezzano la prosa. "M age = 34.7, SD = 11.2; 52% female" e "alpha = .89" non sono il linguaggio fluido e continuo su cui i rilevatori sono tarati. Diluiscono qualsiasi segnale stilistico portato dalle parole intorno.
• C'è poca enfasi retorica. La bozza ha qualche abitudine da macchina ("employed", "Subsequently", "a series of validated measures"), ma non fa affermazioni sull'importanza dello studio e non contiene "comprehensive" o "underscore". Sono proprio queste le espressioni che hanno spinto ogni frase del nostro caso di studio sull'abstract nella colonna delle segnalate.

Il voto diviso è coerente con questo quadro. Tre modelli su cinque propendevano per l'AI sull'intero testo, due no, e nessuna singola frase ha dato al controllo frase per frase abbastanza elementi per decidere. Per capire meglio perché i modelli non sono d'accordo proprio su questo tipo di testo, leggi perché i rilevatori AI non sono d'accordo e il rilevamento AI frase per frase.

Ogni numero è rimasto esattamente dov'era

Per una sezione Metodi, un'elaborazione senza modifiche è il risultato più sicuro possibile. Non è stato riscritto nulla, quindi nulla poteva spostarsi:

Confrontalo con uno strumento che parafrasa tutto. Una sezione Metodi contiene forse una dozzina di numeri che non devono muoversi, e una riscrittura completa dà a ciascuno di essi l'occasione di essere arrotondato, riordinato o associato alla variabile sbagliata. Il nostro articolo su come preservare significato e citazioni elenca cosa controllare se un paragrafo dei Metodi viene effettivamente riscritto.

Cosa dice e cosa non dice questo risultato

Questa bozza è stata scritta con l'AI, e il report l'ha giudicata scritta da una persona. Vale la pena dirlo chiaramente, perché taglia in entrambe le direzioni.

• Il verdetto di un rilevatore non è una prova di paternità. I rilevatori stimano come si legge un testo. Mancano parte del testo automatico e segnalano parte di quello umano, soprattutto in generi convenzionali come i Metodi. Vedi il testo generato dall'AI si può rilevare in modo affidabile?
• La dichiarazione è una questione separata. Se devi dichiarare l'uso dell'AI dipende dalla policy della rivista o della tua università, non da ciò che dice un rilevatore. Un verdetto "scritto da una persona" non cambia quell'obbligo. Controlla la policy prima dell'invio.
• I dettagli restano responsabilità dell'autore. La scrittura con l'AI può produrre dettagli plausibili ma sbagliati: un coefficiente di affidabilità preso dallo studio sbagliato, una dichiarazione etica che non corrisponde all'approvazione che hai davvero ottenuto. Verifica ogni valore con i tuoi dati, qualunque cosa dicano i rilevatori.

Se vuoi comunque intervenire, bastano piccole modifiche manuali: "used" al posto di "employed", "Then" al posto di "Subsequently". Poi ricontrolla; la nuova analisi ti dirà se qualcosa si è spostato.

La lezione per le sezioni Metodi

La prosa dei Metodi è la parte di un articolo in cui scrivere con l'AI fa meno danni stilistici e in cui riscrivere comporta il rischio fattuale maggiore. In questa elaborazione Humanizer v2 ha riconosciuto che nulla era segnalato, ha lasciato intatte tutte e otto le frasi e non ha addebitato nulla. Per come si comportano le altre sezioni di un lavoro, vedi la nostra guida sezione per sezione su tesi, articoli e rilevamento AI.

È così che Academic Humanizer deve comportarsi: prima analizza, poi riscrive solo le frasi segnalate e ti mostra il risultato nell'AI Detection Report, comprese le frasi incerte, così puoi decidere cosa, se qualcosa, merita la tua attenzione.