AI検出ツールは信頼できる？Sadasivan論文を解説

AI検出ツールは信頼できるのでしょうか。Vinu Sankar Sadasivan、Aounon Kumar、Sriram Balasubramanian、Wenxiao Wang、Soheil Feiziによる2023年の論文「Can AI-Generated Text Be Reliably Detected?」によれば、誰かが積極的に検出を逃れようとしている場合は信頼できず、言語モデルが人間らしい文章を書けるようになるほど、ますます難しくなります。この論文はのちにTransactions on Machine Learning Researchに掲載され、AI検出ツールをめぐる議論で最も引用される論拠の一つになりました。

論文の主張は3つです。機械の文章を言い換えると、特に繰り返し言い換えると、主要なタイプの検出ツールがすべて破られること。検出ツールはなりすましによって人間の文章にフラグを付けるよう仕向けられること。そして、どんな検出ツールにも性能の数学的な上限があることです。この記事ではそれぞれを説明し、そのうえで反論した研究を見ていきます。

主張1：再帰的な言い換えが検出ツールを破る

攻撃の内容は簡単に説明できます。言語モデルが書いた文章を言い換えモデルに通します。その言い換えをさらに言い換え、これを繰り返します。著者らはこれを再帰的言い換え（recursive paraphrasing）と呼び、約300トークンの文章で複数の言い換えモデルを使って検証しました。その中には、別のチームがまさにこの種の研究のために作った110億パラメータのモデル、DIPPERも含まれます。

攻撃の対象は4つの検出ツールのタイプです。

• 透かし検出器：生成時に埋め込まれた隠れた統計パターンを探します。仕組みはLLMの透かし論文の解説で説明しています。
• 学習済み分類器：OpenAIが公開したRoBERTaベースの検出器などです。
• ゼロショット検出器：DetectGPTのように、モデル自身の確率を読み取ります。
• 検索型検出器：文章を、モデルがこれまでに生成したすべてのテキストのデータベースと照合します。

• 透かし、元の文章（FPR 1%でのTPR）99.3%
• 透かし、再帰的言い換え後9.7%
• ゼロショット検出器、元の文章（AUROC）96.5%
• ゼロショット検出器、言い換え後（AUROC）25.2%

出典：Sadasivan et al., "Can AI-Generated Text be Reliably Detected?", arXiv 2303.11156

透かし入りの文章では、再帰的言い換えにより、偽陽性率1%での真陽性率が99.3%から9.7%に低下しました。ゼロショット検出器では、AUROCが96.5%から25.2%に下がり、ランダムに当てるより悪い結果になりました。著者らは人間による評価も行い、言い換えはおおむね意味と文法を保っていたものの、一部では品質が低下したと報告しています。

主張2：検出ツールはなりすましにだまされる

2つ目の攻撃は逆方向で、人間の文章を機械が書いたように見せるものです。著者らは、検出器の仕組みを知らずに透かし入りモデルに問い合わせるだけの攻撃者でも、透かしがどの単語を優先しているかを推定できることを示しました。その単語を使って書けば、人間の文章でも透かしが反応します。実験では、なりすましによってソフト透かしの検出AUROCが99.8%から1.3%に下がり、検出器は本物の透かし入り文章と偽造された文章を区別できなくなりました。

検出ツールで自分の仕事をチェックされる人にとっては、こちらのほうが居心地の悪い結果です。だまされて人間の文章を告発してしまう検出ツールは、モデル開発者だけでなく、判定される人々にとっても評判上のリスクになります。

主張3：AUROCの上限

理論的な結果は、検出性能を1つの数値に結びつけます。人間が書きうるすべての文章を1つの確率分布、モデルが書きうるすべての文章をもう1つの分布と考えます。両者の全変動距離（TV）は2つの分布がどれだけ異なるかを示し、0（同一）から1（重なりなし）までの値をとります。論文は、どんな検出ツールについても次が成り立つことを証明しています。

AUROC ≤ 1/2 + TV − TV²/2

TVが大きいときは上限が緩く、優れた検出ツールが成立しえます。モデルが改良され、その出力分布が人間の文章に近づくと、TVが小さくなり、達成可能な最良のAUROCはコイン投げと同じ0.5に向かって下がっていきます。

値は論文の上限式から計算したもので、実験結果ではありません。

• 分布が大きく離れている場合
• 分布が近い場合

上限の意味を示す説明用の例で、論文のデータではありません

反論

この論文には強い反応がありました。知っておく価値のあるものを3つ紹介します。

文章が多ければ再び検出できる

Souradip Chakrabortyらは、ICML 2024のポジションペーパー "Position: On the Possibilities of AI-Generated Text Detection" で、この上限は1つのサンプルに対するものだと主張しました。検出ツールがより多くの文章、つまりより長い文章や同じ出所からの複数のサンプルを見れば、分布は区別しやすくなり、人間と機械の文章が全範囲で同一でない限り検出は可能なままだというのです。彼らは必要な文章量も導き出しました。要するに、上限はサンプル単位では現実のものですが、長さとともに上がります。

透かしは予想以上に残る

元祖グリーンリスト方式を開発したJohn Kirchenbauer率いる透かし研究チームは、"On the Reliability of Watermarks for Large Language Models"（ICLR 2024）でこの点を検証しました。言い換えは元の文章の断片を残しがちなため、人間による言い換えでも機械による言い換えでも、透かしは検出可能なままでした。人間が大幅に言い換えたある設定では、非常に低い偽陽性率で、平均約800トークン後に透かしが検出可能になりました。

防御策としての検索

DIPPERを開発したKalpesh Krishnaらは、NeurIPS 2023の論文で、モデル提供者が自らの出力を保存して検索できるようにすることを提案しました。1,500万件の生成結果を保存した状態で、偽陽性率1%で言い換えられた出力の80%から97%を検出しました。これに対しSadasivanらは、再帰的言い換えは検索も弱めると反論しています。DIPPERについてはDIPPERの言い換えがAI検出ツールを回避する仕組みで解説しています。

実際にはどういう意味か

議論は、妥当な中間的立場に落ち着きつつあります。検出は短い文章より長い文章でうまく機能し、検出ツールがどのモデルを想定すべきかを知っているときにうまく機能し、モデルや書き換えツールが進歩するほど弱くなります。反論のどれも、1つの段落を確実に判定できるとは主張していません。商用の検出ツールの一つでこれがどう現れるかは、Turnitinはヒューマナイズした文章もバレる？をご覧ください。

• 短い文章ほど不確実性が大きい。アブストラクトや1つの段落こそ、サンプル単位の上限が効いてくる場面です。RAIDのようなベンチマークは、設定によって性能がどれほど変わるかを示しています。
• 誤りは両方向に起きる。非ネイティブの書き手へのバイアスに関する研究が示すように、検出ツールは書き換えられた機械の文章を見逃すこともあれば、人間の文章にフラグを付けることもあります。
• スコアは確率であって判決ではない。スコアを証拠として扱う機関は、研究が裏づける以上の確実性に頼っていることになります。

Academic Humanizerの位置づけ

段落レベルで検出が不確実なのであれば、誠実な著者にとって賢明な対応は、推測するのではなく、スコアを左右している文を見ることです。Academic Humanizerは下書きの中から検出ツールがフラグを付ける文を探し、意味、数値、引用を保ちながらそれらの文だけを書き換え、人間らしいと判定された文は書かれたとおりに残します。AI検出レポートは実行前後のバージョンを同じ基準で比較し、まだフラグが付いた文があればはっきりと示します。すべての変更はご自身で確認・承認し、所属機関やジャーナルのAIポリシーの確認も引き続き欠かせません。