どの文がAI判定される？文単位のAI検出の仕組み

AI検出ツールが文を判定するのは、その文が人間が普段書くよりも予測しやすく見えるときで、よく引っかかるのはありきたりな書き出し、道しるべの文、まとめの文です。文単位のAI検出では、各文（または数文からなる短い範囲）を個別にスコア化し、そのスコアを統合して文書全体の結果を出します。文書単位の検出では、テキスト全体を一度にスコア化します。実際の原稿のほとんどは混在しているため、判定された少数の文をツールがどう集計するかで、全体の判定が決まることがあります。

自分の原稿のどの文がAIと判定されているのかを知りたいなら、文単位の視点が必要です。この記事では、二つの方式の仕組み、少数の文で文書全体が傾く理由、すべてを書き直すよりその文だけを書き直すほうが安全な理由、そして複数の検出ツールを組み合わせると何が変わるかを説明します。

テキストをスコア化する二つの方法

文書単位の検出ツールは、文章全体を読んで一つの数値を返します。多くの場合、テキストがAI生成である確率として表されます。使える根拠が多いため、推定は比較的安定しています。欠点は、その信号がどこから来たのかを示せないことです。

文単位の検出ツールは、テキストを単位ごとに分けてそれぞれをスコア化します。多くのツールは、判定された単位をハイライトし、それがテキストに占める割合を報告します。これは実際の執筆の仕方に近いものです。人はある段落は自分で書き、別の段落ではモデルの助けを借り、その両方にまたがって手を入れます。研究もこれに追随しています。EMNLP 2023で発表されたSeqXGPTは、人間の文とAIが手を加えた文が混在する文書のデータセットを構築し、従来の手法は文単位では苦戦する一方、自らの手法は文単位と文書単位の両方で機能したと報告しています（Wang et al., EMNLP 2023）。

We expected attendance to fall after the fee change, and in two of the three districts it did. These findings highlight the important role that economic factors play in shaping educational outcomes. The third district is the puzzle: attendance rose by four points, and the head teachers we interviewed credited a bus route that opened the same term. This suggests that transport access may moderate the effect of fees. Overall, the results underscore the need for a comprehensive approach to policy design.

5文中2文が判定され、1文がボーダーライン。文書単位のスコアでは、これが一つの数値にぼやけてしまいます。

例の中で、どの文が判定されているかに注目してください。ほぼどんな論文の締めくくりにも使えそうな、一般的なまとめの文です。具体的な場所、数値、名前のある原因を含む文は、人間の文として読まれています。このパターンはよく見られるもので、役にも立ちます。修正の手間をどこにかければよいかを正確に教えてくれるからです。

一文単位のノイズの問題

文ごとのスコアは有益ですが、一つひとつには不確かさがあります。一文に含まれるトークンは少ないため、予測しやすさの推定は乏しい根拠に頼ることになります。多くのツールは、重なり合う範囲をスコア化することでこれをならしているため、ある文のラベルは隣接する文にも一部左右されます。

Turnitinはこの影響について率直に説明しています。偽陽性率に関する記事で、文単位の偽陽性率は約4%であり、偽陽性となった文の54%が実際のAI文章のすぐ隣にあったと報告しています（Turnitin）。つまり、判定された文の近くにある人間の文も、判定されやすくなるということです。

実践的には、ハイライトされた一文は、結論ではなく確認のきっかけとして扱いましょう。段落全体にわたるパターンのほうが、どの一行よりも意味があります。

少数の文で文書全体が傾く理由

どのツールも、文ごとのスコアを文書の判定に変換しなければなりません。そしてそのルールの選び方は、多くの利用者が思っている以上に重要です。よくある方法には、文のスコアの平均、しきい値を超えた文の割合、その割合に対する別のしきい値などがあります。割合ベースのルールでは、20文の要旨で4文が判定されれば20%になり、これが報告ラインを超えるかどうかはわかりません。そのうち2文を直せば、割合は半分になります。

まとまりも重要です。範囲ごとのスコア化では隣接する文が互いに影響し合うため、一般的な文が三つ続くと、四つ目の人間の文までラインの向こうへ引っ張られることがあります。そのまとまりを崩せば、隣の文は自然に判定を外れることがよくあります。だからこそ、正しい場所に少数の修正を加えるほうが、均等に散らした多数の修正よりも文書全体の結果を大きく変えられるのです。

学術文章の書き手の場合、原因となりやすい文は決まっています。冒頭の背景説明の文、道しるべの文（「This section discusses」）、そして締めくくりのまとめです。それぞれの直し方はAIっぽく聞こえる文の直し方にまとめています。参考文献リストや引用した一節は別の問題です。Turnitinで参考文献や引用がAI判定される理由をご覧ください。

判定された文だけを書き直すべき理由

検出が一文ずつ行われるなら、修正も一文ずつ行うべきです。4文を直すために文書全体を書き直すと、三つの代償があります。

• 意味のリスクは範囲に比例する。書き直された文はどれも、ヘッジ表現や数値、引用とのつながりを失う可能性があります。4文を書き直せばずれの機会は4回、40文なら40回です。意味と引用を保つ方法をご覧ください。
• あなたの声が消える。人間の文として読まれる文は、たいていあなた独自の観察を含む文です。全体を書き直すと、それが平板になってしまいます。
• 新たな判定が生じうる。書き直しをすべての文に適用すると、もともと問題のなかった文まで均一に見えるようになり、ほかの箇所のスコアが上がることがあります。

1. 各文をスコア化するどの単位が機械的に読まれ、どれがすでに人間の文として読まれているかを確認します。
2. 人間の文には手を付けない書いたとおり、一字一句そのまま返します。
3. 判定された文を書き直す主張、数値、引用、用語を保ちながら、構造とリズムを変えます。
4. 文脈の中で再スコア化する隣接する文がスコアに影響するため、新しい文を段落全体の中で確認します。
5. 必要に応じて繰り返すまだ判定されている文には、もう一度手を入れます。

複数の検出ツールを集計する

検出ツールはそれぞれ学習データ、しきい値、分析の単位が異なるため、同じ文でも判定が食い違うことがよくあります（その理由はAI検出ツールの判定が食い違う理由で解説しています）。それらを組み合わせると、文から文書への集計と同じような設計上の問いが生じます。どれか一つの検出ツールが判定すれば判定とみなすのか、それとも過半数が判定した場合だけなのか。

Liangらの研究は、この選択がいかに重要かを示しています。人間が書いたTOEFLエッセイを七つの検出ツールにかけたところ、少なくとも一つの検出ツールに判定されたものは97.8%、七つすべてに判定されたものは19.8%でした（Liang et al., Patterns 2023）。

• 少なくとも一つの検出ツールが判定97.8%
• 検出ツール全体の平均61.3%
• 七つすべてが判定19.8%

出典：Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

同じエッセイ、同じ検出ツールでも、三つのまったく異なる数字になります。「どれか一つ」という厳しいルールはAIの文章の見逃しには慎重ですが、ここではほぼすべての人間のエッセイを判定してしまいます。「全会一致」のルールは人間の書き手に優しい一方、見逃しが増えます。どちらが常に正しいわけではありません。大切なのは、レポートがどのルールを使っているかを知り、それを踏まえて読むことです。書き手にとっては、一つのスコアを信じるより、複数の検出ツールで原稿を確認するほうが実態に近い姿がわかります。ツール同士が一致する箇所と、判定がノイズである可能性が高い箇所が見えるからです。

Academic Humanizerの文単位スコアの使い方

Academic HumanizerのHumanizerは、この文単位の考え方に基づいて作られています。原稿をスキャンしてAI検出ツールに判定される文を見つけ、その文だけを書き直し、すでに人間の文として読まれている文は書いたとおりに返します。何も判定されなければ出力は入力と同じで、クレジットは消費されません。AI Detection Reportは、判定された各文と書き直しを対にして示し、原稿と出力を同じ基準、つまり人間の文として読まれた文の割合で比較します。結果はTurnitin、GPTZero、ZeroGPT、Copyleaks、Sapling、Originality.aiで確認しています。まだ判定されている文がいくつか残っていれば、レポートにそう表示されるので、その箇所をもう一度実行できます。