AI検出の研究論文：押さえておきたい11本の重要研究

スコアをただ信じるのではなく、AIテキスト検出を理解したいなら、主要な仕事をしているのは十数本ほどの論文です。検出ツールがテキストをどう測定するのか、どれほど頑健なのか、誰に対して失敗するのか、表面的な書き換えでどれほど簡単に判定が変わるのか。それらを説明する論文のうち、2019年から2024年までの11本と、教育者向けに書かれた研究1本をこのリストで取り上げます。

各項目には、正式なタイトル、著者、掲載先、検証済みの知見1つ、論文へのリンクを載せています。詳しい解説記事がある場合はそちらにもリンクしています。

1. 2019年：初期のツールGLTRとGPT-2出力検出器が、今も主流の2つのアプローチを示しました。トークン統計と学習済み分類器です。
2. 2023年：ゼロショットと透かしDetectGPTとLLMの透かしが、学習済み分類器を使わない検出を提案しました。
3. 2023年：最初のストレステストDIPPERは言い換えによる回避を、Liangらは非ネイティブの書き手へのバイアスを示しました。
4. 2024年：より安価な検出器、より大きなベンチマークFast-DetectGPT、Binoculars、Ghostbusterが検出を改善し、RAIDとM4が大規模に検証しました。

基礎：検出の始まり

1. GLTR: Statistical Detection and Visualization of Generated Text

Sebastian Gehrmann, Hendrik Strobelt, Alexander M. Rush · ACL 2019 (System Demonstrations)

GLTRは、言語モデルが各単語をどれだけ上位に予測したかに応じて単語を色分けします。機械の文章は上位の選択肢にとどまりがちで、人間はより予想外の単語を選ぶことが多くなります。被験者実験では、事前の訓練なしでも、生成テキストを見抜く正答率が54%から72%に向上しました。予測しやすさがシグナルになるというその中心的な考え方は、今日のほとんどの検出ツールの土台になっています。論文

2. Release Strategies and the Social Impacts of Language Models

Irene Solaiman et al. (OpenAI) · Report, 2019

GPT-2の段階的公開に関するこの報告書は、広く使われるようになった「GPT-2 Output Detector」のもととなるRoBERTaベースの分類器について説明しています。著者らによれば、15億パラメータのGPT-2のテキストを約95%の精度で検出しました。同じ検出器はその後の評価にも登場します。RAIDでは5つのドメインでGPT-2のテキストに対して95%を超えた一方、ほかのモデルのテキストでは60%を超えることはまれでした。論文

ゼロショット検出と透かし

3. DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature

Eric Mitchell, Yoonho Lee, Alexander Khazatsky, Christopher D. Manning, Chelsea Finn · ICML 2023

DetectGPTは、モデルが書いたテキストはモデルの対数確率の局所的なピークに位置しやすく、小さな摂動を加えると確率が下がるという点に着目しました。学習データは不要で、必要なのはモデルの確率とT5のような摂動モデルだけです。GPT-NeoXで生成した偽ニュースでは、従来の最良のゼロショット手法の0.81からAUROCを0.95に引き上げました。DetectGPTの解説もご覧ください。論文

4. A Watermark for Large Language Models

John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein · ICML 2023

文体から推測するのではなく、生成時にシグナルを埋め込むアプローチです。各単語の前に疑似ランダムな「グリーンリスト」のトークンを選んで緩やかに優先し、後で検出器がグリーントークンを数えて、解釈可能なp値を伴う統計検定を行います。モデル自体は不要です。ただし、モデル提供者が有効にしている場合にしか機能しません。透かしの解説もご覧ください。論文

ストレステスト：回避とバイアス

5. Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense

DIPPERの論文（上のカード）は、humanizer研究の出発点です。110億パラメータの言い換えモデルが、意味を保ったまま透かし、DetectGPT、GPTZero、OpenAIの分類器を弱体化させました。論文が提案した対策は、提供者が保存している生成結果から一致する内容を検索する方法で、偽陽性率1%で言い換えの80%から97%を検出しました。DIPPERの解説もご覧ください。

6. GPT detectors are biased against non-native English writers

Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou · Patterns, 2023

よく使われる7つの検出ツールを、非ネイティブの書き手によるTOEFLエッセイ91本と、米国の中学2年生によるエッセイ88本で検証しました。米国のエッセイではほぼ完璧でしたが、TOEFLエッセイの半数以上をAIと判定し、平均偽陽性率は61.22%でした。91本中89本は少なくとも1つの検出ツールでフラグが付きました。同じエッセイの語彙を豊かにすると、この割合は11.77%に下がりました。検出ツールのバイアスの解説もご覧ください。論文

2024年：より速い検出器とより難しいベンチマーク

7. Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text via Conditional Probability Curvature

Guangsheng Bao, Yanbin Zhao, Zhiyang Teng, Linyi Yang, Yue Zhang · ICLR 2024

Fast-DetectGPTは、DetectGPTの計算コストの高い摂動ステップを、サンプリングに基づく条件付き確率曲率の指標に置き換えました。著者らは、ホワイトボックスとブラックボックスの両方の設定でDetectGPTに対して約75%の相対的な改善を報告し、検出速度はおよそ340倍になりました。論文

8. Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text

Abhimanyu Hans et al. · ICML 2024

Binocularsは、あるテキストが1つのモデルにとってどれだけ意外かを、あるモデルの予測が別のモデルにとってどれだけ意外かと比較します。学習データを一切使わずに、偽陽性率0.01%でChatGPTなどのLLMのサンプルの90%以上を検出します。RAIDでも、低い偽陽性率で際立った成績を示しました。Fast-DetectGPTとBinocularsの解説もご覧ください。論文

9. Ghostbuster: Detecting Text Ghostwritten by Large Language Models

Vivek Verma, Eve Fleisig, Nicholas Tomlin, Dan Klein · NAACL 2024

Ghostbusterは、文書を複数のより弱い言語モデルに通し、それらの特徴の組み合わせを探索して、その結果で分類器を学習します。そのため対象モデルの確率にアクセスする必要がありません。ドメイン全体で99.0のF1を達成し、従来の最良モデルを5.9ポイント上回りました。学生のエッセイ、創作文、ニュースの新しいデータセットも公開されています。論文

10. M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection

Yuxia Wang et al. · EACL 2024

M4は、6つの生成モデル（GPT-4、ChatGPT、Cohere、Dolly-v2、BLOOMzなど）、WikipediaからarXivのアブストラクトや査読コメントまでのドメイン、そしてアラビア語、ブルガリア語、中国語、英語、インドネシア語、ロシア語、ウルドゥー語の7言語にわたります。主な知見は、検出ツールは未知のドメインやモデルへの汎化が苦手で、その場合は機械の文章を人間の文章と判定しがちだということです。SemEval-2024 Task 8の基盤にもなりました。論文

11. RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors

Liam Dugan et al. · ACL 2024

RAIDは、11のモデル、8つのドメイン、4つのデコード戦略、11の敵対的攻撃による600万件を超える生成テキストで12の検出ツールを検証し、すべての検出ツールを同じ偽陽性率に調整しています。ある設定では優秀に見える検出ツールが別の設定では失敗することがあり、繰り返しペナルティだけで精度が最大32ポイント低下しました。RAIDの解説もご覧ください。論文

教育者向けにもう1本

Debora Weber-WulffらによるTesting of detection tools for AI-generated text（International Journal for Educational Integrity, 2023）は、管理された54の文書で14のツールを検証しました。80%の精度に達したツールはなく、機械による言い換えで平均精度は26%に下がりました。14ツールの研究の要約または論文をご覧ください。検出が今後も難しいままかもしれない理論的な理由については、AIの文章は確実に検出できるのかの記事をご覧ください。教員がスコア以外に何を見ているかは、大学レポートのAIはバレる？で解説しています。

これらの論文の読み方

• 偽陽性率を確認する。偽陽性率が示されていない精度の数字は解釈が難しいものです。DIPPER、Binoculars、RAIDがいずれも固定した低い偽陽性率での検出率を報告しているのはこのためです。
• どのモデルとドメインで検証したかを確認する。GPT-2やニュース記事での結果が、現在のモデルが書く方法セクションにそのまま当てはまるとは限りません。
• 日付に注目する。商用ツールは頻繁に更新されるため、特定の製品の2023年のスコアはその時点のスナップショットにすぎません。
• 誰が誤判定されているかを見る。LiangらとWeber-Wulffらはいずれも、誤りが非ネイティブの文章や翻訳文に最も重くのしかかることを示しています。

Academic Humanizerの位置づけ

これらの論文を合わせて読むと、検出ツールが反応しているのは、丁寧に書かれた人間の文章にも共通しうる表面的な統計であることがわかります。Academic Humanizerは、そのせいで自分のアイデアを誤ってラベル付けされてしまう研究者のために作られています。Humanizerは検出ツールがフラグを付けた文だけを書き換え、主張、数値、引用を保ちます。AI検出レポートは下書きと出力を同じ基準で比較するので、すべての変更を確認できます。提出前には、いつものように所属機関やジャーナルのAIポリシーを確認してください。