TurnitinはAIの透かしを検出する？LLM電子透かしを解説

TurnitinがAI検出ツールについて公開している説明は、文章のパターンを採点する学習済みの分類器であり、透かしを読み取ることには触れていません。LLM電子透かし（ウォーターマーク）は別の考え方で、AIが文章を生成する時点でテキストに統計的な信号を埋め込み、後から秘密の鍵を持つソフトウェアでその出所を確認できるようにする手法です。最もよく知られているのは、John Kirchenbauerらによる「A Watermark for Large Language Models」（ICML 2023）の方式で、モデルを秘密裏にランダムに選ばれた「グリーン」の単語群へとわずかに誘導します。読み手には見えませんが、単純な統計検定でグリーンの単語を数えれば、短い文章からでもそのパターンを検出できます。

電子透かしはAI検出の話題でよく取り上げられる一方、誤解されることも少なくありません。この記事では、グリーンリスト方式の仕組み、論文が報告した結果、編集によって信号が弱まる仕組み、そして現在実際に導入されているものを説明します。

グリーンリスト方式の透かしの仕組み

言語モデルは一度に一つのトークン（単語、または単語の一部）を書きます。透かし方式では、各トークンを選ぶ前に次の処理を行います。

1. 直前のトークンからシードを作る生成したばかりのトークンをハッシュ化し、乱数生成器のシードにします。
2. 語彙を分割するそのシードを使って語彙全体を、グリーンリスト（割合γの単語）とレッドリスト（残り）に分けます。
3. 確率を傾けるサンプリングの前にグリーンのトークンのスコアに小さなボーナスδを加え、グリーンの単語が選ばれやすくなるようにします。
4. 通常どおりサンプリングする次のトークンを選びます。これをテキストのすべての位置で繰り返します。

論文では二つの方式が説明されています。ハード透かしはレッドのトークンを完全に禁止するため、自然な次の単語がたまたまレッドだった場合にテキストが崩れることがあります。一般に透かしと言えば指すソフト透かしは、確率を傾けるだけです。モデルの確信度が高い場合（エントロピーが低い場合。たとえば「Barack」の次の「Obama」）にはボーナスはほとんど効かず、品質が守られます。同じくらい適切な単語が多数ある場合にはボーナスが決め手になり、グリーンの単語が積み上がっていきます。

The survey results suggest that rural clinics face persistent staffing gaps across both regions.

説明用の例です。緑＝その位置のグリーンリストにあるトークン、赤＝レッドリスト。透かしのないテキストでは、グリーンの割合はおよそγになります。

透かしの検出：zスコア検定

検出にモデルへのアクセスは必要ありません。秘密のハッシュ鍵を持っていれば誰でも、直前のトークンから各位置のグリーンリストを再構築し、文章中のトークンのうちいくつがグリーンかを数えられます。人間の文章はリストのことを何も知らないので、トークンのおよそγの割合が偶然グリーンになるだけです。透かし入りのテキストではそれより多くなります。

検定では、グリーンの数がどれほど意外かを調べます。T個のトークンのうちG個がグリーンのとき、論文では一標本比率のz検定を使います。

z = (G − γT) / √(T × γ × (1 − γ))

zがしきい値を超えると、テキストは透かし入りと判定されます。しきい値をz = 4にすると、透かしのないテキストが偶然これを超える確率は約0.00003、つまり10万分の3です。この計算から、短い範囲でも検出できる理由もわかります。γ = 0.5でハード透かしの場合、16個のトークンがすべてグリーンならそれだけでz = 4になります。

論文の実験では、数十億パラメータ規模のOPTモデルを使い、約200トークンの系列、δ = 2、γ = 0.5、通常の多項サンプリングという条件で、透かし入りテキストの98.4%を検出し、この設定では偽陽性はありませんでした。δを大きくすると透かしは強くなり検出しやすくなりますが、テキストの品質はある程度犠牲になります。

透かしは編集にどこまで耐えるか

各位置のグリーンリストは直前のトークンで決まるため、1語を変えても乱れるのは数か所のグリーン・レッドの状態だけで、テキスト全体には及びません。著者らは、T5モデルで文の一部を置き換える攻撃を試しました。透かしは弱まりましたが、置き換えによってテキストの質も目に見えて落ちたため、信号を消すことと文章を使える状態に保つことの間にはトレードオフがありました。

その後の研究では、より強い攻撃が試されています。

• 言い換え。Sadasivanらは、再帰的な言い換えによって、透かし入りの300トークンの文章の検出率が、偽陽性率1%の条件で99.3%から9.7%に下がったと報告しました。AI生成テキストは確実に検出できるのかもご覧ください。
• なりすまし。同じ論文では、攻撃者がモデルの出力からグリーンリストを推定し、人間の文章を透かし入りのように偽装できることも示され、検出器のAUROCは99.8%から1.3%まで低下しました。
• 信頼性の擁護。Kirchenbauerのチームは「On the Reliability of Watermarks for Large Language Models」（ICLR 2024）で反論しました。言い換えには元の文の断片が残るため、人間による言い換えでも機械による言い換えでも、透かしは検出可能なままだったというのです。人間が大きく書き換えたある設定では、非常に低い偽陽性率で検出するのに平均約800トークンが必要でした。

公平にまとめると、軽い編集では透かしは残り、大幅な書き換えでは弱まり、テキストが長いほど検出器が使える材料は増えます。書き換えの側面については、DIPPERによる言い換えの記事で詳しく扱っています。

Turnitinが使っているのは透かしではない理由

透かしを見つけられるのは、透かしを適用したモデルが生成したテキストに限られ、しかも鍵を持つ人だけです。検出ツールに貼り付けられるテキストの大半はさまざまなモデルから来ており、その多くは検出ベンダーと透かしの鍵を共有していません。だからこそ商用の検出ツールは別の方法で動いています。TurnitinがAI文章検出について公開している説明では、学習済みのTransformer分類器が使われています。提出物を重なり合うセグメントに分割し、各文をスコア化し、そのスコアを統合して文書全体の推定値を出します。この説明のどこにも、透かしを読み取る処理は出てきません。この指標についてはTurnitinのAI検出スコア解説で、検出ツールの種類全般についてはAI検出ツールの仕組みで説明しています。Turnitinがチャットボットごとに何を検出するとしているかは、TurnitinでChatGPT・Claude・Geminiはバレる？で取り上げています。

産業界での電子透かしの現状

電子透かしは研究段階から、少なくとも一つの大規模な実運用システムへと進んでいます。Google DeepMindは2024年10月にNatureで「Scalable watermarking for identifying large language model outputs」を発表し、SynthID-Textについて説明しました。これはサンプリングの段階だけを変更し、言語モデルを動かさずに検出する方式です。チームは、約2,000万件のGeminiの応答を対象にした実地実験で、ユーザー評価による品質の低下は見られなかったと報告しています。

OpenAIはより慎重な姿勢をとりました。2024年8月の更新で、自社のテキスト透かし方式は言い換えのような局所的な改変に対しては精度が高いものの、翻訳や別のモデルによる書き換えのような全体的な変更には弱く、非ネイティブの英語話者などの層に不均衡な影響を与えうると説明しました。その時点ではツールを公開していませんでした。

つまり、透かしは存在し、想定された狭い用途では機能します。特定の提供元のモデルがあるテキストを生成したことを確認する、という用途です。原稿に何らかのAIが関わったかどうかという一般的な問いには答えられません。

Academic Humanizerとの関係

多くの研究者にとって日常的に問題になる検出ツールは、透かしを読み取るものではなく、各文の文体をスコア化する分類器です。Academic Humanizerが働くのもそのレベルです。検出ツールに判定される文を見つけ、主張、数値、引用、用語を保ったままその文だけを書き直し、原稿の残りは書いたまま残します。AI Detection Reportでは判定された各文と書き直しが並べて表示されるので、確認に使えます。そのうえで、所属機関やジャーナルのAI開示ルールには引き続き従ってください。