Projeto de pesquisa escrito com IA: teste real e a revisão necessária

Propostas de financiamento são um lugar natural para usar IA em um primeiro rascunho, e um lugar arriscado para parar por aí. Passamos pelo Humanizer v2 um resumo de projeto redigido com IA para um edital de agricultura. Os cinco modelos de detecção votaram IA no rascunho. No resultado, os cinco votaram humano, e todas as frases foram lidas como humanas.

Pelos números dos detectores, é o resultado mais limpo da nossa série de estudos de caso. Mas ele também perdeu a duração do projeto, ganhou uma palavra que os avaliadores desconfiam e mudou uma das medidas de desfecho do ensaio. Este post mostra tudo isso, porque é a etapa de revisão que decide se o resumo está pronto para ser submetido.

O rascunho e a execução

O resumo segue o arco padrão: o problema, o objetivo, os parceiros, o desenho, uma vertente qualitativa, as entregas, o impacto. Ele tem o vocabulário de mil propostas aprovadas: "mounting challenges", "interconnected challenges", "rigorously assess", "has the potential to significantly enhance". As sete frases foram sinalizadas.

1. Busca por sinais de IASete de sete frases sinalizadas; os cinco modelos votaram IA.
2. Reescrita das frases sinalizadasAs sete frases foram reescritas.
3. Nova verificação com detectores de IASete de sete frases lidas como humanas; os cinco modelos votam humano.
4. Salvamento do resultado1.352 caracteres a 500 caracteres por crédito, arredondado para cima: 3 créditos.

• Resumo de proposta redigido com IA5 de 5
• Resultado do Humanizer v20 de 5

Fonte: execução de produção do Humanizer v2. O veredito do relatório passou de Gerado por IA para Escrito por humano.

The climate change scenario is also changing the agricultural environment in semi-arid regions and smallholder farmers are facing increasing uncertainties related to rainfall variability, soil quality degradation, and lack of effective information. To counteract this situation, this research aims to develop and evaluate an innovative low-cost SMS-based advisory service which provides localized planting and fertilization advice for farmers in two districts of northern Ghana. We will collaborate with 1,200 households, local extension officers and a regional meteorological agency to co-develop our advisory content and deliver it. We will perform a cluster randomized controlled trial to measure the effect of our approach on maize yield, inputs used, and food security. We will also conduct qualitative interviews with farmers to better understand their trust in digital advice and the barriers to adopting it, especially those specifically targeted towards women farmers. The project aims to produce a validated advisory model, open source data sets, and policy briefs for national agricultural agencies. This project should strengthen the resilience and livelihoods of smallholder farmers and offer valuable lessons that can be applied by other digital agriculture initiatives in sub-Saharan Africa.

Resultado real da nossa execução de teste. As sete frases foram lidas como humanas.

Leia esse resultado uma vez e ele parece bom. Leia comparando com o rascunho e não parece.

A etapa de revisão: o que se perdeu e o que foi acrescentado

Estas são as duas frases que carregam os compromissos do projeto: o que será construído, com quem e por quanto tempo.

Antes

This project aims to address these interconnected challenges by developing and evaluating a low-cost, SMS-based advisory system that delivers localized planting and fertilization recommendations to farmers in two districts of northern Ghana. Over a three-year period, we will partner with 1,200 households, local extension officers, and a regional meteorological agency to co-design the advisory content and delivery schedule.

Depois

To counteract this situation, this research aims to develop and evaluate an innovative low-cost SMS-based advisory service which provides localized planting and fertilization advice for farmers in two districts of northern Ghana. We will collaborate with 1,200 households, local extension officers and a regional meteorological agency to co-develop our advisory content and deliver it.

Três problemas em duas frases:

• A duração de três anos sumiu. "Over a three-year period" (ao longo de três anos) foi eliminado por completo. Em um resumo de proposta, o prazo é um compromisso central que os avaliadores conferem com o orçamento e o plano de trabalho. Ele precisa voltar.
• "Innovative" foi acrescentado. O rascunho não chamava o sistema de inovador; a reescrita chamou, sem evidência. Alegações de novidade sem fundamento são uma queixa comum dos avaliadores, e essa nem é uma afirmação do autor.
• O escopo do codesenho encolheu. Os parceiros iam codesenhar o conteúdo e o cronograma de envio. Agora eles codesenvolvem o conteúdo, e o projeto simplesmente "delivers it" (o entrega). Codesenhar o momento dos envios com os agricultores é uma escolha metodológica real, e ela desapareceu.

Os 1.200 domicílios, os dois distritos e o norte de Gana sobreviveram. A ideia central de um serviço de orientação por SMS também. O estrago está nos detalhes que o avaliador pontua.

As outras cinco frases

O restante do resultado exige a mesma leitura par a par. O que encontramos:

• Declaração do problema. A reescrita começa com "The climate change scenario", um enquadramento que o rascunho nunca usou, e "limited access to timely agronomic information" virou "lack of effective information". A oportunidade da informação era justamente o objetivo de um serviço por SMS.
• Desfechos do ensaio. "Input use efficiency" virou "inputs used". São medidas diferentes: uma é uma razão entre produção e insumo, a outra é uma quantidade. "Household food security" perdeu o "household", o nível em que seria medida (o domicílio).
• Foco de gênero. "With particular attention to women farmers" virou "especially those specifically targeted towards women farmers", que agora diz que as barreiras têm as agricultoras como alvo. É uma afirmação diferente e sem fundamento.
• Entregas. "Open-access datasets" virou "open source data sets". Acesso aberto diz respeito a quem pode ler os dados; código aberto geralmente descreve o licenciamento de software.
• Impacto. "Has the potential to significantly enhance" virou "should strengthen", e "across sub-Saharan Africa" virou "in sub-Saharan Africa". A primeira mudança pode até ser uma melhora de tom; mesmo assim, leia como uma afirmação que você está fazendo a um financiador.

Como recuperar os detalhes

Nenhuma dessas correções exige desfazer a execução. Cada uma é uma edição pontual dentro de uma frase que agora é lida como humana. Por exemplo, um autor poderia restaurar a frase de parceria assim (edição nossa, não resultado do Humanizer):

Over three years, we will collaborate with 1,200 households, local extension officers and a regional meteorological agency to co-design our advisory content and its delivery schedule.

Depois, apague "innovative", recoloque "input use efficiency" e "household food security", reescreva a oração sobre as agricultoras e troque "open source data sets" por "open-access datasets". Após editar à mão, verifique o texto de novo. Expressões restauradas podem trazer de volta parte daquilo a que os detectores reagiram, e o relatório mostra se isso aconteceu; você pode humanizar de novo só esses trechos e revisar o novo par. O nosso guia para humanizar texto de IA à mão trata desse tipo de edição de expressões.

Antes de submeter, confira as regras atuais do seu financiador sobre o uso de IA nas propostas. Vários financiadores já as publicam, e elas diferem no que permitem e no que precisa ser declarado.

Por que publicamos as falhas

Seria fácil mostrar o gráfico de barras e parar: de cinco votos de IA para zero. Mas um resumo de proposta é um conjunto de promessas, e um humanizador que soa humano enquanto descarta silenciosamente um compromisso de três anos não fez o trabalho sozinho. O resultado do detector e a verificação do sentido são dois testes separados, e um resumo precisa passar nos dois.

O Academic Humanizer foi pensado para que o segundo teste seja rápido. O Relatório de Detecção de IA coloca cada frase sinalizada ao lado da reescrita, então uma verificação como a de cima leva minutos, não uma releitura completa. Nosso guia sobre como preservar o sentido ao humanizar lista o que procurar, e o fluxo de revisão responsável mostra onde essa verificação entra antes de uma proposta ser enviada.