AI検出ツールの仕組み：自分の文章がAI判定される理由

AI検出ツールは意味を読むのではなく、文章が言語モデルにとってどれだけ予測しやすく見えるかを測っています。自分で書いた文章がAIと判定されることがあるのも、そのためです。パープレキシティやバースト性のような単純な統計量を使うもの、ラベル付きの例で学習した分類器を使うもの、そして少数ながら生成時に文章に埋め込まれた隠れた透かしを使うものがあります。どれも、誰が書いたかを知っているわけではありません。そのパターンが機械の出力に似ているかどうかを判断しているだけです。

手法ごとに弱点は異なりますが、ほぼすべてに共通する弱点が1つあります。丁寧でフォーマルな定型的な文章は、もともと予測しやすいということです。よく推敲された方法セクションが、雑なブログ記事よりも「AI」に近いスコアになりうるのはそのためです。主なアプローチの仕組み、その限界について研究が示していること、そして学術文章がなぜ判定の境界線のすぐ近くにあるのかを解説します。

中心となるシグナル：モデルはどれだけ驚くか

言語モデルは、ありうるすべての次の単語（正確には次のトークン）に確率を割り当てます。モデルが文章を生成するとき、確率の高いトークンを選びがちです。モデルからサンプリングするとはそういうことだからです。人間の書き手はそのルールに縛られません。変わった動詞を選んだり、3ページ前の細部に言及したり、強調のためにパターンを崩したりします。

パープレキシティは、これを数値にしたものです。文章をモデルに通し、それまでの内容を踏まえて各トークンがどれだけありそうだったかを求め、その結果を平均します。パープレキシティが低いということは、モデルにとって文章が予測しやすかったということです。高いということは、モデルが何度も驚かされたということです。GPTZero自身の解説も、パープレキシティをおおむねこのように定義し、スコアが高いほど人間が書いたしるしと見なしています（GPTZero）。

The results of this study suggest that soil moisture plays an important role in seedling survival, though only after the second frost.

緑：モデルが予想したトークン。無色：話題の語。赤：モデルがありそうにないと判断したトークン。前半は定型文のように読まれ、後半の限定句こそ、人間の読み手も検出ツールも注目する部分です。

この考え方はChatGPTより前からあります。ハーバード大学とIBMの研究者による2019年のツールGLTRは、モデルの予測における順位に応じて各単語を色分けし、人間が生成テキストを見抜けるようにしました。彼らの研究では、この可視化によって訓練を受けていない読み手の検出率が54%から72%に上がりました（Gehrmann et al., ACL 2019 demo）。

バースト性：文ごとのばらつき

パープレキシティはトークン単位で測られます。バースト性は1段上のレベル、つまり予測しやすさが文ごとにどれだけ変化するかを見ます。人間の文章は変化に富む傾向があります。短い平叙文の後に、2つの従属節と挿入句を含む長い文が続き、その後に断片的な文が来る、といった具合です。生成された文章は、似た長さと似た構造の文が続く、より一定したリズムになりがちです。

バースト性を追跡する検出ツールは、文章にそうした山と谷があるかどうかを問います。平坦なプロファイルはスコアを「AI」の側に押しやります。問題は、多くのジャンルが意図的に平坦だということです。アブストラクト、プロトコルの記述、法律や規制の文章は、いずれも均一な文が好まれます。

パープレキシティとバースト性は説明しやすいため、一般向けの記事ではこの2つが中心になります。しかし、もはやそれがすべてではありません。GPTZero自身も、ディープラーニングのアーキテクチャに移行し、現在ではこの2つの指標を主要な手法ではなく、指標の一部として扱っていると述べています。

学習済み分類器

今日の商用検出ツールの多くは、教師あり分類器です。開発チームが人間の文章と機械の文章を大量に集めてラベルを付け、両者を見分けるようにニューラルネットワークをファインチューニングします。ネットワークは、語の選択、フレーズの頻度、句読点の癖、段落の形、さらには誰も名前を付けていないパターンなど、2つの山を分けるものなら何でも学習します。

分類器は、学習データに似た文章では非常に高い精度を出せます。複数のより弱い言語モデルの特徴を分類器に入力する研究システムGhostbusterは、ベンチマークのドメイン全体で99.0のF1を報告しました（Verma et al., NAACL 2024）。問題はドリフトです。ある世代のモデル、あるジャンルの組み合わせ、あるデコード設定で学習した分類器は、そのいずれかが変わるとつまずくことがあります。11のモデル、8つのドメイン、11の敵対的攻撃にわたる600万件を超える生成テキストを含むRAIDベンチマークでは、検出ツールはサンプリング戦略の変更、未知のモデル、単純な攻撃に簡単にだまされることがわかりました（Dugan et al., ACL 2024）。

最もわかりやすい教訓はOpenAIの例です。2023年1月に公開された同社のAIテキスト分類器は、チャレンジセットでAIが書いた文章の26%しか正しく検出できず、人間の文章の9%を誤ってラベル付けしました。OpenAIは精度の低さを理由に、2023年7月に提供を終了しました（OpenAI）。

ゼロショットの統計的手法

検出ツールのもう1つの系統は、学習を完全に省きます。これらのゼロショット手法は、言語モデル自身の確率を使って文章を検査します。

スタンフォード大学のDetectGPTは、1つの観察に基づいています。モデルからサンプリングされた文章は、そのモデルの対数確率の局所的なピークに位置しやすいということです。2つ目のモデル（著者らはT5を使用）でいくつかの単語を少し動かすと、機械の文章は急速に確率を失う一方、人間の文章の変化はそれほど予測どおりではありません。200億パラメータのモデルによる偽ニュース記事で、DetectGPTはAUROC 0.95を達成し、最も強力なゼロショットのベースラインは0.81でした（Mitchell et al., ICML 2023）。

• 機械が生成した文章
• 人間が書いた文章

Mitchellら（2023）が説明した手法に基づく説明用の形状

DetectGPTは、各文章について摂動を加えた多数のコピーを採点するため、コストがかかります。Fast-DetectGPTは摂動のステップをより安価なサンプリング推定に置き換え、約75%の相対的な改善と340倍の高速化を報告しました（Bao et al., ICLR 2024）。Binocularsは、密接に関連した2つのモデルが同じ文章をどう採点するかを比較し、ChatGPTのデータで学習することなく、偽陽性率0.01%でChatGPTのサンプルの90%以上を検出したと報告しています（Hans et al., ICML 2024）。

透かし

透かしは、検出を生成の瞬間に移します。Kirchenbauerらが提案した方式では、モデルは各ステップで直前のトークンのハッシュを使って語彙を「グリーン」と「レッド」のリストに分け、サンプリングをグリーンのトークンへと少し誘導します。ハッシュのルールを知っている検出器は、グリーンのトークンを数えて統計検定を行います。人間の文章は偶然の水準付近に収まり、透かし入りの文章はグリーンが多すぎます（Kirchenbauer et al., ICML 2023）。

透かしは、文章を書いたモデルが透かしを適用していて、かつ検出器が鍵を知っている場合にしか機能しません。また、大幅な編集を受けると弱まります。Krishnaらは、学習済みの言い換えモデルによって偽陽性率1%でのDetectGPTの検出率が70.3%から4.6%に下がり、透かしの検出も劣化することを示しました（Krishna et al., NeurIPS 2023）。ですから実際には、大学やジャーナルが使っている検出ツールは、透かしを読み取るものではなく、分類器や統計的なスコアラーです。

文単位のスコアと文書単位のスコア

検出ツールは、異なる粒度で結果を報告します。文書全体に対して1つの確率を返すものもあれば、各文や短い区間を採点して疑わしいものをハイライトし、それを割合にまとめるものもあります。たとえばTurnitinは文をハイライトし、自社のガイダンスで文単位の偽陽性率を約4%と説明しています（Turnitin）。

文単位の採点はより多くの情報を与えますが、ノイズも多くなります。1文にはトークンが少ないため、パープレキシティの推定が不安定です。文書単位の採点はより安定していますが、問題がどこにあるかが見えません。このトレードオフは文単位のAI検出で、ツールごとに判定が食い違う理由はAI検出ツールの判定が食い違う理由で詳しく解説しています。

フォーマルな学術文章が境界付近にある理由

上のすべての手法は、意外性を評価し、慣習を不利に扱います。学術文章は慣習の上に成り立っています。読み手が論文を素早く読めるよう、分野ごとに言い回しが標準化されています。"Participants were randomly assigned to"、"These findings are consistent with"、"Further research is needed to" などです。スタイルガイドは装飾的な表現を避けるよう勧めます。非ネイティブの書き手は、より狭く無難な語彙に頼ることがよくあります。そのすべてがパープレキシティを下げます。

最も明確な証拠は、スタンフォード大学のLiangらによるものです。彼らは7つの検出ツールを、英語を母語としない人が書いたTOEFLエッセイと、米国の中学2年生のエッセイにかけました。検出ツールはネイティブのエッセイではほぼ完璧でしたが、TOEFLエッセイを平均61.3%の割合でAIと誤分類しました。研究者たちがChatGPTを使って同じエッセイの語彙を豊かにすると、平均偽陽性率は11.6%に下がりました（Liang et al., Patterns 2023）。

• 元のエッセイ61.3%
• 語彙を豊かにした後11.6%

出典：Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

教訓は、検出ツールが役に立たないということではありません。そのスコアが、書き手と同じくらい文体を反映しているということです。平易で規律ある英語を書く丁寧な研究者が、AIをまったく使っていなくても、境界線の誤った側に入ってしまうことがあります。この影響についてはLiangらの研究のレビューとフォーマルな文章がAIの文章に見える理由で詳しく見ています。自分のアイデアを保ったまま直す方法は、AI検出を回避する方法をご覧ください。

Academic Humanizerの位置づけ

Academic Humanizerは、まさにその最後の問題のために作られました。Humanizerは下書きを1文ずつスキャンし、検出ツールがフラグを付けた文だけを書き換え、残りは書いたとおりに残して、主張、数値、引用、用語を保ちます。組み込みのAI検出レポートは、フラグが付いた各文を書き換え後の文と並べて示して両バージョンを比較し、結果はTurnitin、GPTZero、Originality.aiなどの検出ツールで確認されています。提出物にどのツールを使う場合も、事前に所属機関やジャーナルのAIポリシーを確認し、出力はどこかに出す前に必ず自分で読んでください。