Progetti di ricerca scritti con AI: un test reale e la revisione

Le proposte di finanziamento sono un terreno naturale per usare l'AI in una prima bozza, e un terreno rischioso per fermarsi lì. Abbiamo fatto passare in Humanizer v2 la sintesi di un progetto per un bando in ambito agricolo, scritta con l'AI. Sulla bozza, tutti e cinque i modelli di rilevamento hanno votato AI. Sul risultato, tutti e cinque hanno votato umano, e ogni frase è risultata umana.

In termini di numeri dei detector, è il risultato più pulito della nostra serie di casi di studio. Ha però perso la durata del progetto, ha acquisito una parola di cui i valutatori diffidano e ha cambiato una delle misure di esito della sperimentazione. Questo post mostra tutto, perché è la fase di revisione a decidere se la sintesi è pronta per essere inviata.

La bozza e l'elaborazione

La sintesi segue l'arco classico: il problema, l'obiettivo, i partner, il disegno dello studio, una parte qualitativa, i risultati attesi, l'impatto. Ha il lessico di mille proposte finanziate: "mounting challenges", "interconnected challenges", "rigorously assess", "has the potential to significantly enhance". Tutte e sette le frasi sono state segnalate.

1. Analisi dei segnali di AISette frasi su sette segnalate; tutti e cinque i modelli hanno votato AI.
2. Riscrittura delle frasi segnalateTutte e sette le frasi sono state riscritte.
3. Nuovo controllo con i detector AISette frasi su sette risultano umane; tutti e cinque i modelli votano umano.
4. Salvataggio del risultato1.352 caratteri a 500 caratteri per credito, arrotondati per eccesso: 3 crediti.

• Sintesi del progetto scritta con AI5 su 5
• Output di Humanizer v20 su 5

Fonte: elaborazione di produzione di Humanizer v2. Il verdetto del report è passato da Generato da AI a Scritto da un umano.

The climate change scenario is also changing the agricultural environment in semi-arid regions and smallholder farmers are facing increasing uncertainties related to rainfall variability, soil quality degradation, and lack of effective information. To counteract this situation, this research aims to develop and evaluate an innovative low-cost SMS-based advisory service which provides localized planting and fertilization advice for farmers in two districts of northern Ghana. We will collaborate with 1,200 households, local extension officers and a regional meteorological agency to co-develop our advisory content and deliver it. We will perform a cluster randomized controlled trial to measure the effect of our approach on maize yield, inputs used, and food security. We will also conduct qualitative interviews with farmers to better understand their trust in digital advice and the barriers to adopting it, especially those specifically targeted towards women farmers. The project aims to produce a validated advisory model, open source data sets, and policy briefs for national agricultural agencies. This project should strengthen the resilience and livelihoods of smallholder farmers and offer valuable lessons that can be applied by other digital agriculture initiatives in sub-Saharan Africa.

Output reale della nostra elaborazione di prova. Tutte e sette le frasi risultano umane.

A una prima lettura quel risultato suona bene. Confrontato con la bozza, no.

La fase di revisione: cosa si è perso e cosa è stato aggiunto

Ecco le due frasi che contengono gli impegni del progetto: cosa verrà realizzato, con chi e per quanto tempo.

Prima

This project aims to address these interconnected challenges by developing and evaluating a low-cost, SMS-based advisory system that delivers localized planting and fertilization recommendations to farmers in two districts of northern Ghana. Over a three-year period, we will partner with 1,200 households, local extension officers, and a regional meteorological agency to co-design the advisory content and delivery schedule.

Dopo

To counteract this situation, this research aims to develop and evaluate an innovative low-cost SMS-based advisory service which provides localized planting and fertilization advice for farmers in two districts of northern Ghana. We will collaborate with 1,200 households, local extension officers and a regional meteorological agency to co-develop our advisory content and deliver it.

Tre problemi in due frasi:

• La durata di tre anni è sparita. "Over a three-year period" (nell'arco di tre anni) è stato eliminato del tutto. In una sintesi di progetto, la tempistica è un impegno centrale che i valutatori confrontano con il budget e il piano di lavoro. Va reinserita.
• È stato aggiunto "innovative". La bozza non definiva innovativo il sistema; la riscrittura sì, senza prove. Le affermazioni di novità non supportate sono una lamentela frequente dei valutatori, e questa non è un'affermazione dell'autore.
• L'ambito della co-progettazione si è ristretto. I partner avrebbero dovuto co-progettare i contenuti e il calendario di invio. Ora co-sviluppano i contenuti e il progetto si limita a "inviarli" ("deliver it"). Co-progettare i tempi con gli agricoltori è una scelta metodologica reale, ed è scomparsa.

Le 1.200 famiglie, i due distretti e il nord del Ghana sono sopravvissuti. Così come l'idea centrale di un servizio di consulenza via SMS. Il danno sta nei dettagli a cui un valutatore assegna un punteggio.

Le altre cinque frasi

Il resto del risultato richiede la stessa lettura coppia per coppia. Ecco cosa abbiamo trovato:

• Definizione del problema. La riscrittura si apre con "The climate change scenario", un'impostazione che la bozza non usava mai, e "limited access to timely agronomic information" (accesso limitato a informazioni agronomiche tempestive) è diventato "lack of effective information". La tempestività era proprio il senso di un servizio via SMS.
• Esiti della sperimentazione. "Input use efficiency" (efficienza d'uso degli input) è diventato "inputs used". Sono misure diverse: una è un rapporto tra output e input, l'altra una quantità. "Household food security" ha perso "household", cioè il livello a cui verrebbe misurata la sicurezza alimentare.
• Attenzione al genere. "With particular attention to women farmers" (con particolare attenzione alle agricoltrici) è diventato "especially those specifically targeted towards women farmers", che ora afferma che sono gli ostacoli a prendere di mira le donne. È un'affermazione diversa e non supportata.
• Risultati attesi. "Open-access datasets" è diventato "open source data sets". L'open access riguarda chi può leggere i dati; open source di solito descrive le licenze software.
• Impatto. "Has the potential to significantly enhance" è diventato "should strengthen", e "across sub-Saharan Africa" è diventato "in sub-Saharan Africa". La prima modifica è probabilmente un miglioramento di tono; leggila comunque come un'affermazione che stai facendo a un finanziatore.

Ripristinare i dettagli

Nessuna di queste correzioni richiede di annullare l'elaborazione. Ognuna è una modifica a livello di espressione all'interno di una frase che ora risulta umana. Per esempio, un autore potrebbe ripristinare la frase sul partenariato così (è una nostra modifica, non un output dello Humanizer):

Over three years, we will collaborate with 1,200 households, local extension officers and a regional meteorological agency to co-design our advisory content and its delivery schedule.

Poi elimina "innovative", reinserisci "input use efficiency" e "household food security", riscrivi la frase sulle agricoltrici e cambia "open source data sets" in "open-access datasets". Dopo le modifiche a mano, ricontrolla il testo. Le espressioni ripristinate possono riportare una parte di ciò a cui reagivano i detector, e il report ti mostrerà se è successo; puoi umanizzare di nuovo solo quei passaggi e rivedere la nuova coppia. La nostra guida per umanizzare un testo AI a mano tratta questo tipo di modifica a livello di espressione.

Prima di inviare, verifica le regole attuali del tuo finanziatore sull'uso dell'AI nelle candidature. Diversi enti finanziatori ora le pubblicano, e differiscono su cosa consentono e cosa va dichiarato.

Perché abbiamo pubblicato i difetti

Sarebbe stato facile mostrare il grafico a barre e fermarsi lì: da cinque voti AI a zero. Ma una sintesi di progetto è un insieme di promesse, e un humanizer che produce un testo dall'aria umana mentre elimina in silenzio un impegno di tre anni non ha fatto il lavoro da solo. Il risultato dei detector e il controllo del significato sono due test separati, e una sintesi deve superarli entrambi.

Academic Humanizer è progettato perché il secondo test sia rapido. L'AI Detection Report affianca ogni frase segnalata alla sua riscrittura, così un controllo come quello qui sopra richiede pochi minuti, non una rilettura completa. La nostra guida su come preservare il significato durante l'umanizzazione elenca cosa cercare, e il flusso di revisione responsabile mostra dove si colloca quel controllo prima che una proposta venga inviata.