AI検出ツールの精度は？14ツールを調べた研究からわかったこと

AI検出ツールの精度はどの程度なのでしょうか。これまでで最も丁寧に記録された公開の検証の一つによれば、あまり高くありません。2023年、学術公正を専門とする8人の研究者がオリジナルの文章を書き、別の文章をChatGPTで生成し、その一部を編集したり言い換えたりして、合計54件の文書を14の検出ツールにかけました。精度80%に達したツールはありませんでした。International Journal for Educational Integrityに掲載された結論は率直なもので、ツールは「neither accurate nor reliable」（正確でも信頼できるものでもない）というものでした。

この記事では、研究の設計、数値が実際に示していること、そして研究者にとってこの研究の最も有益な教訓が「検出ツールは役に立たない」よりも狭く実践的なものである理由を説明します。検出ツールのスコアはシグナルであって、証拠ではありません。

研究の設計

この論文の強みはテストセットにあります。9人の研究者（8人の著者と1人の協力者）がそれぞれ6件の文書を用意したため、すべてのケースで正解がわかっていました。約10,000文字の人間の文章は、土木工学、計算機科学、経済学、歴史学、言語学、文学などの分野で、おおむね学部生レベルの内容として新たに書き下ろされました。いずれもインターネット上に公開されたことがないため、モデルが学習時にそれを見ていた可能性は排除されています。

検出ツールは、Check For AI、Compilatio、Content at Scale、Crossplag、DetectGPT、Go Winston、GPT Zero、GPT-2 Output Detector Demo、OpenAI Text Classifier、PlagiarismCheck、Turnitin、Writeful GPT Detector、Writer、ZeroGPTです。12は無料のウェブツールで、TurnitinとPlagiarismCheckはチームにアクセスを提供した商用システムでした。2023年3月から5月にかけて、合計756件の個別テストが行われました。

ツールは「はい」か「いいえ」ではなく確率で結果を示すため、著者らはすべての出力を5段階の尺度に対応させ、三つの異なる方法で精度を計算しました。方法を変えてもツールの順位はほとんど変わらなかったため、この結果を採点方法による偶然の産物として片付けることは難しくなっています。

見出しの結論：80%に達したツールはなかった

すべてのツールの精度が80%を下回り、70%を超えたのはTurnitin、Compilatio、GPT-2 Output Detector、Crossplag、Go Winstonの五つだけでした。Turnitinは三つの採点方法すべてで1位でした。GPT-2 Output Detectorが3位に入ったことに著者らは驚いています。このツールはGPT-3.5の出力で学習したことが一度もなかったからです。

• Turnitin76%
• Compilatio74%
• GPT-2 Output Detector Demo72%
• GPT Zero54%
• PlagiarismCheck39%
• Content at Scale33%

出典：Weber-Wulff et al. 2023, Table 5（二値方式、ツールごとに54件の文書）。

ただし、全体の精度の数字は話の大部分を隠してしまいます。興味深いのは、各ツールがどこで失敗したかです。

精度が崩れた場所

ツールと採点方法全体の平均では、人間が書いた英語の文章は96%の確率で正しく分類されました。未編集のChatGPTのテキストは74%でした。そこから先は、数字が急速に下がっていきます。

• 人間が書いた文章（01-Hum）96%
• ChatGPT、未編集（03/04-AI）74%
• ChatGPT、手作業で編集（05-ManEd）42%
• ChatGPT、機械で言い換え（06-Para）26%

出典：Weber-Wulff et al. 2023, section 5.1.1（全精度算出方式の平均）。

機械翻訳。別の言語で書かれ、英語に機械翻訳された人間の文章は、英語で書かれた文章に比べて、正しく分類される割合が約20ポイント低くなりました。すべてのアイデアが人間から出たものであっても、翻訳はツールが機械の出力と読み取る統計的な痕跡を残すのです。

人間による軽い編集。類義語を入れ替えて節を並べ替える、著者らがパッチライティングと呼ぶような手早い手直しだけで、平均精度は42%まで下がりました。

機械による言い換え。Quillbotに一度通すだけで、精度は26%に落ちました。言い換えたAIテキストの大半は人間の文章と判定されました。

なぜこれほど表面的な変更がこれほど大きく影響するのでしょうか。ほとんどの検出ツールは意味を読んでいません。AI検出ツールの仕組みで説明しているとおり、各単語がどれだけ予測しやすいか、テキストのリズムがどれだけ均一に見えるかをスコア化しています。単語の選択を十分に変えれば、内容は同じでも統計的な指紋は変わります。これは検出ツールの脆さであって、文章の性質ではありません。

「人間」寄りの偏りと、誤った告発の問題

GPT Zeroという顕著な例外を除き、どのツールもAIのテキストより人間のテキストに対して正確でした。著者らはこれをおそらく意図的な設計上の選択と見ており、教育の場ではそのほうが安全な方向だと論じています。それでも、誤りは両方向に生じていました。

研究チームは誤告発率を定義しました。人間が書いたケースのうち、ツールの出力を見た教員が学生を告発しかねない割合です。英語で書かれた文章では、ツール全体の平均は2.4%でした。機械翻訳された文章では11.1%でした。半数のツールは誤告発を一度も出しませんでしたが、GPT Zeroは50%と突出しており、著者らは学術用途には適さないとしています。このセットでは、Turnitinの誤告発はありませんでした。

一方で、未編集のAIテキストの約20%が平均して検出されず、難読化したものではおよそ半数が検出されませんでした。同じ文書でも日によって結果が変わることも観察されました。Check For AIのあるテストでは、低リスクと報告された文書が、5日後には高リスクと報告されたのです。告発を受ける側にとって、この一貫性のなさは誤り率と同じくらい重要です。

翻訳に関する結果は、特に海外の研究者にとって注目に値します。母語で書いて自分の文章を翻訳するのは正当なやり方ですが、この研究ではそれが誤判定のリスクを高めていました。これはGPT検出ツールは非ネイティブの書き手に不利で取り上げた知見とも一致します。

著者らの提言

結論は教育者に向けたもので、はっきりしています。

• 検出ツールの出力だけを不正の報告の根拠にしてはならない。テキスト照合ソフトウェアと違い、AI検出ツールは確認できる出典を示さないため、学生には反論の具体的な材料がありません。
• 判定は学生と話し合うきっかけにはなっても、評決ではない。
• 検出より予防を優先すべきである。生成AIの倫理的な使い方と非倫理的な使い方について明確な指針を示し、最終成果物よりも執筆過程を評価するよう課題を設計し直すこと。
• 教育機関は、学生の作品をクラウドベースの検出サービスにアップロードすることのプライバシー面、法的な面についても考えるべきである。

論文は自らの限界についても率直です。テストしたのは英語のみ、生成モデルは一つ、ツールは2023年初頭の時点のものです。その後ベンダーは製品を更新しているため、具体的なパーセンテージを現在のスコアとして読むべきではありません。引き継がれるのは方法と失敗のパターンであり、RAIDベンチマークのような後続の研究も、はるかに大きな規模で同じ種類の弱点を見出しています。

AIの支援を受けて書く人にとっての意味

研究者や学生であれば、実践的なポイントが三つあります。一つ目に、所属機関や投稿先ジャーナルが実際に何を認めているかを確認し、必要な場合はAIの使用を開示しましょう。二つ目に、下書き、メモ、版の履歴を残しておきましょう。研究の著者らが強調するように、検出ツールは証拠を示しません。あなた自身の作業過程の記録こそが、手にできる最も強い証拠です（草稿の履歴が研究公正の裏付けになる理由をご覧ください）。三つ目に、判定された場合、公表されている誤り率は、人による確認を求める妥当な根拠になります。その話し合いについてはAIと誤判定されたときの対処法のガイドで解説しています。教員から指摘を受けた場合は、教員はAIをどう見抜くのかで、スコア以外に教員が見がちな点を説明しています。

Academic Humanizerの位置づけ

こうした研究こそ、Academic Humanizerが存在する理由です。形式的で丁寧に推敲された学術文は、検出ツールが引く境界線の近くに位置することがあり、優れたアイデアが誤ってラベル付けされてしまいます。Humanizerは原稿を一文ずつスキャンし、検出ツールに判定された文だけを書き直し、残りは書いたとおりに残して、主張、数値、引用を保ちます。内蔵のAI Detection Reportでは、判定された各文が書き直しの隣に表示され、両方の版が同じ基準で比較されるので、何が変わったかを確認し、使う前にすべての行を自分で見直すことができます。