AIで書いた助成金申請書はバレる？実地テストと必要な確認

助成金申請書は、最初の下書きにAIを使うのに自然な場面であり、そこで終わらせるのは危険な場面でもあります。農業分野の助成金向けにAIで下書きしたプロジェクト概要を、Humanizer v2にかけました。下書きでは5つの検出モデルすべてがAIと判定しました。出力では5つすべてが人間と判定し、すべての文が人間らしいと判定されました。

検出の数字だけを見れば、私たちの事例シリーズで最もきれいな結果です。一方で、プロジェクトの期間が消え、査読者が警戒する単語が加わり、試験の評価項目の1つが変わってしまいました。この記事ではそのすべてを示します。概要が提出に耐えるかどうかを決めるのは、確認の工程だからです。

下書きと実行

概要は標準的な流れに沿っています。課題、目的、パートナー、研究デザイン、質的調査、成果物、インパクトです。採択された無数の申請書に見られる語彙が並んでいます。"mounting challenges"、"interconnected challenges"、"rigorously assess"、"has the potential to significantly enhance" などです。7文すべてにフラグが付きました。

1. AIシグナルのスキャン7文中7文にフラグ。5つのモデルすべてがAIと判定。
2. フラグが付いた文の書き換え7文すべてを書き換え。
3. AI検出ツールで再チェック7文中7文が人間らしいと判定。5つのモデルすべてが人間と判定。
4. 結果の保存1,352文字を1クレジット500文字で切り上げ計算：3クレジット。

• AIで下書きした助成金概要5つ中5つ
• Humanizer v2の出力5つ中0

出典：Humanizer v2の本番実行結果。レポートの判定はAI生成から人間が執筆に変わりました。

The climate change scenario is also changing the agricultural environment in semi-arid regions and smallholder farmers are facing increasing uncertainties related to rainfall variability, soil quality degradation, and lack of effective information. To counteract this situation, this research aims to develop and evaluate an innovative low-cost SMS-based advisory service which provides localized planting and fertilization advice for farmers in two districts of northern Ghana. We will collaborate with 1,200 households, local extension officers and a regional meteorological agency to co-develop our advisory content and deliver it. We will perform a cluster randomized controlled trial to measure the effect of our approach on maize yield, inputs used, and food security. We will also conduct qualitative interviews with farmers to better understand their trust in digital advice and the barriers to adopting it, especially those specifically targeted towards women farmers. The project aims to produce a validated advisory model, open source data sets, and policy briefs for national agricultural agencies. This project should strengthen the resilience and livelihoods of smallholder farmers and offer valuable lessons that can be applied by other digital agriculture initiatives in sub-Saharan Africa.

テスト実行による実際の出力。7文すべてが人間らしいと判定されました。

この出力を一度読むだけなら、問題なく聞こえます。下書きと突き合わせて読むと、そうではありません。

確認の工程：失われたものと加わったもの

プロジェクトの約束、つまり何を、誰と、どれくらいの期間で作るのかを担っている2文を見てみましょう。

修正前

This project aims to address these interconnected challenges by developing and evaluating a low-cost, SMS-based advisory system that delivers localized planting and fertilization recommendations to farmers in two districts of northern Ghana. Over a three-year period, we will partner with 1,200 households, local extension officers, and a regional meteorological agency to co-design the advisory content and delivery schedule.

修正後

To counteract this situation, this research aims to develop and evaluate an innovative low-cost SMS-based advisory service which provides localized planting and fertilization advice for farmers in two districts of northern Ghana. We will collaborate with 1,200 households, local extension officers and a regional meteorological agency to co-develop our advisory content and deliver it.

2文の中に3つの問題があります。

• 3年という期間が消えた。"Over a three-year period"（3年間にわたり）がまるごと削除されました。助成金の概要では、期間は査読者が予算や作業計画と照らし合わせる中核的な約束です。必ず戻す必要があります。
• "Innovative" が加わった。下書きはシステムを革新的とは呼んでいませんでしたが、書き換えは根拠なしにそう呼びました。裏づけのない新規性の主張は査読者がよく指摘する点であり、しかもこれは著者の主張ではありません。
• 共同設計の範囲が狭まった。パートナーは、助言の内容と配信スケジュールを共同設計する予定でした。それが内容を共同開発するだけになり、プロジェクトは単に "delivers it"（それを届ける）ことになりました。配信のタイミングを農家と共同設計するのは実際の方法論上の選択であり、それが消えてしまいました。

1,200世帯、2つの地区、ガーナ北部はすべて残りました。SMSによる助言という中心的なアイデアも残っています。損なわれたのは、査読者が採点する細部です。

残りの5文

残りの出力も、同じようにペアごとに読む必要があります。見つかったのは次の点です。

• 課題の記述。書き換えは下書きにはなかった "The climate change scenario" という枠組みで始まり、"limited access to timely agronomic information"（適時の農業技術情報へのアクセス不足）が "lack of effective information" になりました。適時性こそがSMSサービスの要点でした。
• 試験の評価項目。"Input use efficiency"（投入資材の利用効率）が "inputs used"（使用した投入資材）になりました。これは別の指標です。一方は投入に対する産出の比率で、もう一方は量です。"Household food security" からは、測定の単位である "household"（世帯）が抜け落ちました。
• ジェンダーへの焦点。"With particular attention to women farmers"（女性農家に特に注目して）が "especially those specifically targeted towards women farmers" になり、障壁が女性を標的にしているという意味になりました。これは別の、裏づけのない主張です。
• 成果物。"Open-access datasets" が "open source data sets" になりました。オープンアクセスは誰がデータを読めるかに関するもので、オープンソースは通常ソフトウェアのライセンスを指します。
• インパクト。"Has the potential to significantly enhance" が "should strengthen" に、"across sub-Saharan Africa" が "in sub-Saharan Africa" になりました。前者はトーンとしては改善とも言えますが、それでも資金提供者に対して行う主張として読んでください。

具体的な内容を元に戻す

これらの修正はどれも、実行を取り消す必要はありません。いずれも、すでに人間らしく読める文の中で、語句レベルで直せるものです。たとえば著者は、パートナーシップの文を次のように戻せます（Humanizerの出力ではなく、私たちによる編集です）。

Over three years, we will collaborate with 1,200 households, local extension officers and a regional meteorological agency to co-design our advisory content and its delivery schedule.

そのうえで "innovative" を削除し、"input use efficiency" と "household food security" を戻し、女性農家に関する節を書き直し、"open source data sets" を "open-access datasets" に変えます。手で編集した後は、文章を再チェックしてください。戻した語句によって、検出ツールが反応していた要素が一部戻ることがあり、そうなった場合はレポートに表示されます。その部分だけを再度humanizeし、新しいペアを確認すればよいのです。こうした語句単位の編集は、AIの文章を手作業で人間らしくする方法のガイドで取り上げています。

提出前には、申請書でのAI利用に関する資金提供機関の最新のルールを確認してください。ルールを公開している機関は増えており、何を認め、何の開示を求めるかは機関によって異なります。

欠点も公開した理由

棒グラフを見せて終わりにするのは簡単でした。AI判定5票が0票に、と。しかし助成金の概要は約束の集まりであり、人間らしく読める一方で3年間の約束をひそかに落としてしまうhumanizerは、それだけでは仕事を果たしていません。検出結果と意味の確認は別々のテストであり、概要は両方に合格しなければなりません。

Academic Humanizerは、2つ目のテストを素早く行えるように設計されています。AI検出レポートはフラグが付いたすべての文を書き換え後の文と対にして示すので、上のような確認は全文を読み直すことなく数分で済みます。何を確認すべきかはhumanize時に意味を保つためのガイドにまとめており、責任ある推敲ワークフローでは、申請書を提出する前のどの段階でその確認を行うべきかを示しています。