言い換えでAI検出は回避できる？DIPPER論文を解説

言い換えでAI検出は回避できるのでしょうか。2023年の検証では、ほぼできるという結果でした。UMass AmherstとGoogleの研究者たちは、優れた言い換えモデルに1回通すだけで、AI生成テキストの意味をほとんど変えないまま、ほとんどの検出ツールをすり抜けられることを示しました。NeurIPS 2023で発表されたこの論文では、偽陽性率1%に固定した場合のDetectGPTの検出率が70.3%から4.6%に下がりました。さらに、文章の文体を読み取ることに一切頼らない防御策も提案しています。

この論文は、AI humanizerや検出ツールの頑健性に関するその後の研究の大半の出発点です。論文が何を行い、何を見つけ、AIの助けを借りて書く人にとって何を意味するのかを紹介します。

DIPPERとは

DIPPER（Discourse Paraphraserの略）は、T5-XXLをファインチューニングした110億パラメータのモデルです。当時の言い換えモデルの多くは1文ずつ処理していました。DIPPERは段落全体を書き換え、元のプロンプトなどの周辺の文脈を活用し、文をまたいで内容を並べ替えるよう学習されています。

学習データは、英語以外で書かれた同じ小説の複数の英訳からなるデータセット、PAR3です。2人の翻訳者が同じ段落を訳すと、語の選び方や文の順序は異なっても内容は同じという、互いの自然な言い換えが生まれます。これにより、人が1つのアイデアをさまざまな形で表現する現実的な例をモデルに与えることができました。

DIPPERには、推論時に設定する2つの制御パラメータがあります。

• 語彙の多様性（L）：言葉遣いをどれだけ変えるか。著者らによれば、L = 20はおおよそ20%の語彙の変更に相当します。
• 順序の多様性（O）：段落内で内容をどれだけ並べ替えるか。

主な実験ではLを20、40、60に、Oを0または60に設定し、各文章は合格するまで再試行するのではなく1回だけ言い換えられました。

実験の設定

著者らは、規模が大きく異なる3つのモデル、GPT-2 XL（15億パラメータ）、OPT-13B、GPT-3.5（text-davinci-003）で300トークンの文章を生成しました。タスクは、Wikipediaの文章の自由な続き書きと、長文形式の質問応答です。

そのうえで5つの検出ツールを検証しました。Kirchenbauerらの透かし、DetectGPT、GPTZero、OpenAIのAIテキスト分類器、RankGenです。すべての検出ツールは偽陽性率1%、つまり人間の文章100本のうち1本だけが誤ってフラグ付けされるように調整されました。著者らは、これが検出ツールを評価する正しい方法だと主張し、実際には1%でもおそらく高すぎると付け加えています。

言い換えが意味を保っているかを確認するために、意味的類似度モデルのP-SPと人間による評価を用いました。

検出率はどうなったか

• DetectGPT、GPT-2 XLの文章70.3%
• DetectGPT、言い換え後4.6%
• 透かし、GPT-2 XLの文章100%
• 透かし、言い換え後57.2%
• OpenAIの分類器、GPT-3.5の文章30.0%
• OpenAIの分類器、言い換え後15.6%

出典：Krishna et al. 2023、4.3節（Wikipediaの自由生成）

モデル、検出ツール、タスクを問わず、言い換えはどの多様性設定でも検出率を下げました。同時に、言い換えの88%から99%が、人間による言い換えペアの類似度の中央値を上回っており、意味はおおむね保たれていました。

ほかに目立った発見が2つあります。

• 透かしが最も頑健だった。言い換えを経ても一部の透かしトークンが残るため、言い換えたGPT-2 XLの文章の過半数を依然として検出しました。透かしの強みは生成時に埋め込まれたシグナルにあり、これは文体とは別の種類の証拠です。そのシグナルの仕組みは透かしの解説をご覧ください。
• 透かし以外の検出ツールは、大きなモデルでは言い換え前から弱かった。これらの設定では、GPTZeroとRankGenは言い換えていないAIの文章の15%未満しか検出できず、長文形式の質問応答でDetectGPTはGPT-2 XLの74.9%からOPT-13Bでは29.8%に低下しました。OpenAIは2023年7月、精度の低さを理由に分類器の提供を終了しています。

意味を保つ書き換えで判定が変わる理由

この結果は意外に見えますが、これらの検出ツールが何を測っているかを思い出せば納得できます。AI検出ツールの仕組みで説明しているように、DetectGPTのような統計的検出ツールは、言語モデルのもとで各トークンがどれだけありそうかを採点します。透かし検出器は秘密の「グリーンリスト」に含まれるトークンを数えます。どちらも議論の中身は読んでいません。

言い換えは議論を保ちながら、個々の語の選択を別のモデルの分布から引き直します。元の文章を機械っぽく、あるいは透かし入りに見せていたトークンが、同じ意味の別のトークンに置き換わります。検出ツールには新しい統計的な指紋が見え、読み手には同じ段落が見えます。

これが、この論文が後に続くすべての研究に手渡した核心的な洞察です。文体に基づく検出は表面の形を測っており、表面の形は意味を保ったまま変えられる。同じ考え方で、教室でのテストで軽い人間の編集が検出ツールを混乱させる理由や、ほぼ同時期に発表されたSadasivanらの論文が検出には根本的な限界があるかもしれないと主張した理由も説明できます。

検索による防御

論文の後半では、文体に依存しない防御策を提案しています。「これは機械が書いたように見えるか」と問うのではなく、「自社のモデルがこの意味の文章を書いたか」と問うのです。

1. 保存言語モデルの提供者が、APIで生成したすべての出力をデータベースに保存します。
2. 符号化チェック対象の文章を、その内容を表す表現に変換します。
3. 検索BM25またはP-SP意味モデルを使い、内容が一致する保存済みの生成結果を探します。
4. 判定十分に近い一致があれば、その提供者のモデルによる文章としてフラグを付けます。

言い換えは内容を保つため、保存された元の文章と一致したままです。1,500万件の生成結果のデータベースを使った場合、検索は設定全体で言い換えられた文章の80%から97%を検出し、人間の文章へのフラグは1%にとどまりました。長文形式の質問応答では、BM25による検索が3つのモデルの最も強く言い換えられた文章のそれぞれ97.8%、97.3%、96.2%を検出しました。競合する最良の検出ツールは55.8%、51.4%、38.1%でした。

著者らは限界についても率直に論じています。検索は提供者が実行しなければ機能せず、検出できるのはその提供者自身の出力だけです。また、データベースが大きくなるにつれ、保存、プライバシー、誤一致について現実的な問題が生じます。ローカルで実行されるオープンウェイトのモデルは、そもそも対象外です。

humanizer研究の系譜

DIPPERは、その後の研究が土台とするひな形を定めました。別のモデルでAIの文章を変換し、固定した低い偽陽性率で検出率を測り、意味が保たれたことを検証する、というものです。SICOはプロンプトだけで同じ効果を示しました。RAIDベンチマークは、言い換えを11の標準的な攻撃の1つにしました。より最近の研究では、検出ツール自身のフィードバックを使って言い換えを誘導しています。

学術的な書き手にとって、この教訓はレシピではありません。検出ツールの判定が何を意味しうるかについての注意喚起です。フラグが付くこと、あるいは付かないことは、文章の表面的な統計が1つのモデルの予測とどう一致しているかを反映しているにすぎません。誰がそのアイデアを持っていたかについては、信頼できることは何も語りません。だからこそ、どんなスコアよりも下書きやメモが重要なのであり、所属機関やジャーナルのAI支援に関するルールを確認し、求められる場合は開示すべきなのです。商用の検出ツールもその後変わっています。Turnitinはヒューマナイズした文章もバレる？をご覧ください。

Academic Humanizerの位置づけ

Academic Humanizerは、この研究の教訓を逆の方向から応用しています。検出ツールが表面的なパターンに反応する以上、重要なものを保ちながら、変更をできるだけ少なくすることが目標です。Humanizerは検出ツールがフラグを付けた文だけを書き換え、残りは書かれたとおりに残し、主張、数値、留保表現、引用をそのまま保ちます。AI検出レポートは、フラグが付いた各文を書き換え後の文と対にして示すので、結果を使う前に1行ずつ意味を確認できます。