AI検出ツールの精度はどれくらい？RAIDベンチマークの結果

AI検出ツールの精度はどれくらいなのでしょうか。多くのツールが99%以上をうたっています。ACL 2024で発表されたRAIDベンチマークは、そうした主張を共通の難しいデータセットで検証するために作られました。その答えは、検出ツールは非常に高い精度に達しうるが、それは限られた条件の下だけで、多くの偽陽性を許容した場合に限られることも多く、テキストの生成方法を変えたり軽く手を加えたりするだけで、ほぼ機能しなくなることもある、というものです。

ここでは、RAIDの中身、検出ツールの測り方、そしてその数値がベンダーのランディングページの数字とめったに一致しない理由を説明します。

RAIDの中身

RAIDは意図的に大規模に作られています。それ以前の検出用データセットは、生成モデルが一つか二つ、デコード設定が一つ、攻撃なしという構成が多く、検出ツールに有利でした。RAIDはこれらすべてを同時に変化させます。

データの10%はラベルなしの非公開テストセットとして確保されており、著者らは公開リーダーボードを運営しているため、新しい検出ツールも同じ条件で比較できます。別途RAID-extraというセットもあり、Pythonコード、チェコ語ニュース、ドイツ語ニュースの230万件の生成テキストが追加されています。

八つのドメインの一つが論文の要旨であるため、ニュースやウェブのテキストだけで作られたベンチマークよりも、RAIDは学術文章の書き手にとって関係の深いものになっています。

偽陽性率がすべてを変える理由

検出ツールが出力するのはスコアです。それを「AI」か「人間」かに変えるには、誰かがしきい値を決めなければなりません。RAIDの著者らは、この選択が多くの宣伝文句が認めるよりもはるかに重要であることを示しています。

まず、0.5のような素朴なしきい値を使った場合に何が起こるかを確かめました。いくつかのオープンソースの検出ツール、特にメトリクスベースのものは、著者らが「危険なほど高い」と表現する偽陽性率を示しました。商用の検出ツールはよりよく調整されており、テストした一般的なしきい値で偽陽性率が1.7%を超えるものはありませんでした。

次に、精度と偽陽性率の関係をグラフにしました。検出ツールは、話題になった報告で引用されるような非常に高い精度に達することはできましたが、それは同じくらい高い偽陽性率が許容される場合に限られていました。許容される偽陽性率を下げていくと、ほとんどのツールの精度は急落し、1%未満で機能するものはわずかでした。テストした最も低い偽陽性率にそもそも到達できないツールもあり、16.9%（ZeroGPT）、0.88%（Fast-DetectGPT）、0.62%（Originality）で頭打ちになりました。明らかな例外はBinocularsで、低い偽陽性率でも健闘しました。

• AIテキストの検出率
• 人間のテキストの偽陽性率

RAIDが測定するトレードオフを示す説明用の例で、論文のデータではありません。

論文の以降の部分では、すべての検出ツールをRAIDの人間のテキストに対して偽陽性率5%になるよう調整し、その時点での精度を報告しています。ツールを公平に比較する方法はこれしかなく、RAIDの数値がベンダーの主張より低く見えるのもこのためです。ベンダーの主張では、偽陽性率がまったく示されていないことがよくあります。

サンプリング、繰り返しペナルティ、未知のモデル

RAIDの最も印象的な結果のいくつかは、攻撃をまったく伴いません。ごく普通の生成設定によるものです。

繰り返しペナルティ。同じトークンの再利用を抑える繰り返しペナルティを加えるだけで、検出ツール、生成モデル、ドメインを通じて精度が最大32ポイント下がりました。著者らは、ペナルティによって出力がより人間らしく聞こえるようになるにもかかわらず、検出ツールの頑健性に関するそれまでの研究ではこれが報告されていなかったと指摘しています。

デコード戦略。どのカテゴリーの検出ツールも、ランダムサンプリングより貪欲法のデコードのほうがはるかに好成績でした。

未知の生成モデル。GPT-2の出力で学習したRoBERTa検出器は、五つのドメインでGPT-2のテキストに対して95%を超えるスコアを出しましたが、同じドメインでも他のモデルのテキストに対しては60%を超えることはまれでした。検出ツールは学習したモデルとドメインで最もよく機能し、著者らは商用ツールでも同様のパターンを観察しています。

論文はこれを端的にまとめています。生成モデルやデコード戦略を変えたり、繰り返しペナルティを加えたりするだけで、ほかの点では優秀に見えた検出ツールに95%以上の誤り率が生じたのです。

敵対的攻撃は検出ツールごとにどう効くか

RAIDの攻撃は、意図的に単純なブラックボックス型の編集です。その効果は検出ツールによって大きく異なり、これが論文のより有益な発見の一つです。

• Originality、攻撃なし85.0%
• Originality、ホモグリフ攻撃9.3%
• Binoculars、攻撃なし79.6%
• Binoculars、類義語の置き換え43.5%
• GPTZero、攻撃なし66.5%
• GPTZero、ホモグリフ攻撃66.2%

出典：Dugan et al. 2024, Table 6。

• 単語のごく一部を類義語に置き換えるだけで、Binocularsやその他のメトリクスベースの手法の精度は最大36.1ポイント下がりました。
• 見た目は同じでもコードポイントが異なる文字であるホモグリフは、ほぼすべての検出ツールに打撃を与えました。GPTZeroの低下はわずか0.3ポイントでしたが、ほかの五つのツールは平均40.6ポイント下がりました。
• RADARのように敵対的に学習した検出ツールは、はるかによく持ちこたえました。
• かえって役立った攻撃もありました。GPT-2 RoBERTa検出器は、T5による言い換えの後に16.2ポイント向上しました。言い換えによってテキストが検出器自身の学習データに近づいたためと考えられます。

これらすべての背後にあるパターンは、Weber-Wulffらによる14ツールのテストのような小規模な研究で見られるものと同じです。検出ツールは表層的な統計を読んでおり、ツールごとに読んでいる統計が異なります。意味にまったく影響しない変更でも、テキストが検出ツールの境界線を越えてしまうことがあるのです。

ベンチマークの数値がベンダーの主張と違う理由

製品ページに99%と書かれている場合、それは通常、検出ツールが想定するモデル、ドメイン、設定から取ったベンダー独自のテストセットで、読み手には知らされないしきい値を使ったときの99%です。RAIDはそのすべての点で異なります。

• 偽陽性率を固定して報告するので、人間の文章の誤判定と引き換えに精度を稼ぐことはできません。
• 検出ツールが一度も見たことのないモデルやドメインを含みます。
• 実際のユーザーやツールが日常的に変えるデコード設定を変化させます。
• 誤字、書式の変更、言い換えなど、実際のテキストがいずれにせよ経る手軽な編集を加えます。

どちらの数字も偽物ではありません。答えている問いが違うのです。ベンダーの数字は、そのツールが想定された条件でどう機能するかを示します。RAIDは、条件が変わったときにどう振る舞うかを示しており、こちらのほうが実際の原稿に起こることに近いと言えます。この差は、AI検出ツールの判定が同じ段落でも食い違う理由で扱っている内容の多くも説明しています。

著者らは倫理に関する声明ではっきりと一線を引いています。偽陽性の問題が解決していない以上、より良い評価基準が広く採用されるまでは、懲戒や処罰の場面で検出ツールを使うことに反対する、というものです。

学術文章の書き手にとっての意味

AIの助けを借りて書いているなら、RAIDは、どの検出ツールのスコアも見えない設定次第だということを思い出させてくれます。結果は一つの測定値として扱い、所属機関やジャーナルのポリシーがAIの支援について何と言っているかを確認し、執筆過程の記録を残しておきましょう。スコアが不利に使われた場合、こうしたベンチマークの証拠は、人による確認を求める正当な根拠になります。具体的な手順はAIと誤判定されたときの対処法の記事で解説しています。RAIDが検証していないTurnitinについて同じ問いを扱ったのが、TurnitinでChatGPT・Claude・Geminiはバレる？です。

Academic Humanizerの位置づけ

検出ツールの判定は食い違い、揺れ動くため、Academic Humanizerは一つではなく複数の検出ツールで結果を確認しています。Turnitin、GPTZero、ZeroGPT、Copyleaks、Sapling、Originality.aiで検証済みです。Humanizerは検出ツールに判定された文だけを書き直し、用語、数値、引用を保ちます。AI Detection Reportでは、まだ判定されている文も含めて、原稿と出力を同じ基準で並べて表示するので、提出前に何を修正するかを判断できます。