AI検出はプロンプトでだませる？SICOを解説

AI検出ツールは、追加の言い換えモデルを一切使わずに、プロンプトだけでだませるのでしょうか。Transactions on Machine Learning Researchに掲載された2024年の論文は、できると答えています。その手法SICOは、数十件の人間の文章例からプロンプトを作るもので、著者らのテストでは六つの検出ツールの性能をほぼコイン投げ並みにまで落としました。

2025年のNeurIPSの論文はさらに踏み込み、検出ツール自身のスコアを使って言い換えモデルをトークンごとに誘導しました。二つの論文をあわせて読むと、巧妙な技というよりも、検出ツールの作られ方に潜む構造的な弱点が見えてきます。この記事では両方を解説し、それが何を意味するかを考えます。

SICOがしていることをわかりやすく

SICOはSubstitution-based In-Context example Optimization（置換ベースのインコンテキスト例最適化）の略です。DIPPERによる言い換えのような先行研究では、AIの文章を書き直すための別のモデルを学習させていました。SICOは別の問いを立てます。大規模モデルが例に従うのが得意なら、プロンプトの中に適切な例を入れるだけで同じことができるのではないか、と。

大まかに言うと、この手法は三つの部分からなります。

• 違いを言語化する。同じタスクに対するAIの回答と人間の回答のペアをモデルに見せ、人間の文章を特徴づけるものを説明させます。
• 例を磨き上げる。インコンテキストの例を、単語レベルの類義語置換と文レベルの言い換えで数ラウンドにわたって改善します。代理の検出器が各候補をスコア化し、意味が近いままという制約の中で、例をより機械らしくなく見せる変更だけを残します。
• プロンプトを再利用する。完成したプロンプト（特徴の説明、タスクの指示、磨き上げた例）は、同じタスクの新しい入力にそのまま使えます。

準備のコストは低く、著者らによれば必要なのは人間が書いた40件の例と限られた回数のモデル呼び出しだけで、GPT-3.5のAPI利用料は推定で約1米ドルでした。SICOには二つの形があります。SICO-Genはタスクの出力を直接書き、SICO-Paraは既存のAIの出力を書き直します。「人間らしく書いて」のような単純な指示は話が別です。単純なプロンプトが効かない理由をご覧ください。

テストの方法

実験ではGPT-3.5を使い、三つのタスクを扱いました。学術的なエッセイの執筆（SQuADデータセットのWikipediaの段落を完成させる）、自由回答の質問応答（ELI5の質問）、偽のYelpレビューです。各タスクには、AIが生成したテキストと人間が書いたテキストがそれぞれ200件ありました。

テストした検出ツールは六つです。GPT-3.5のテキストでファインチューニングしたRoBERTaモデル（最適化時の代理検出器でもある）、OpenAIのGPT-2出力検出器、GPTZero、OpenAIのAIテキスト分類器、DetectGPT、そしてlog-rank法です。SICOは、DIPPERや手書きの「人間らしく聞こえるようにして」というプロンプトを含む、四つの言い換えベースラインと比較されました。

検出ツールの性能はAUCで測りました。1.0はAIと人間のテキストを完全に分離できることを、0.5は偶然と変わらないことを意味します。

結果が示すもの

SICOはすべての設定ですべてのベースラインを上回り、ほとんどの場合で検出ツールのAUCを0.5未満に下げました。学術的な執筆タスクでは、低下幅が大きくなりました。

• DetectGPT、元のテキスト0.834
• DetectGPT、SICO-Para0.149
• GPTZero、元のテキスト0.779
• GPTZero、SICO-Para0.290
• GPT-3.5検出器、元のテキスト0.908
• GPT-3.5検出器、SICO-Para0.239

出典：Lu et al. 2024, Table 1（Writingタスク）。AUC 0.5はランダムな推測に相当します。

AUCが0.5を大きく下回るということは、検出ツールがSICOのテキストを実際の人間のテキストよりもさらに人間らしいと順位付けしたことを意味します。比較すると、同じタスクでDIPPERはGPTZeroを0.689まで下げただけでした。

品質も保たれていました。執筆タスクの人による評価では、SICO-Genのテキストの読みやすさは3.84で、人間のテキストの3.92と並び、タスク達成率は93.6%で、人間の書き手の98.2%に迫りました。DIPPERのタスク達成率は70.6%にとどまりました。

著者らは防御策も試しました。元の検出器と、SICOのテキストで学習させた二つ目の検出器を組み合わせ、高いほうのスコアを採用すると、GPT-2検出器のSICO-Paraの執筆タスクでのAUCは0.332から0.762に上がり、通常のAIテキストでの性能はほとんど落ちませんでした。

Adversarial Paraphrasing：検出ツールそのものを使って誘導する

この論文を発表したメリーランド大学のチームは、もっともな観察から出発しました。新しい検出ツール、特に言い換えたテキストで学習したものは、単純な言い換えではだましにくくなっていたのです。彼らのテストでは、単純な言い換えはむしろ偽陽性率1%での真陽性率を上げてしまい、その上昇幅はRADARで8.57%、Fast-DetectGPTで15.03%でした。

彼らの手法は学習を必要としません。市販の指示追従モデル（彼らの設定ではLLaMA-3-8B）がテキストを言い換え、各ステップで検出ツールが次のトークンの候補をスコア化し、最もAIらしく見えない候補を選びます。著者らはこれを、深さ1トークンの検出ツール誘導型探索と表現しています。

OpenAIのRoBERTa-Large検出器で誘導した攻撃は、偽陽性率1%での真陽性率をRADARで64.49%、Fast-DetectGPTで98.96%低下させ、ニューラル分類器、電子透かし、ゼロショット手法にまたがる八つの検出ツール全体では平均87.88%低下させました。鍵となるのは転移です。一つの検出ツールに対して最適化しただけで、まったく種類の異なる検出ツールまで弱まったのです。著者らによれば、テキストの品質の低下はほとんどがわずかなもので、そのトレードオフも明示的に分析しています。

この研究が検出ツールの頑健性について語ること

手法の名前を取り払えば、二つの論文の主張は同じです。検出ツールとは、二つのテキストの分布の間の境界を学習した分類器です。検出ツール、あるいはその妥当な代用品に問い合わせができるものなら何でも、その境界がどこにあるかを学習できます。SICOは少数のプロンプト例で、Adversarial Paraphrasingはトークンごとの選択でそれを実現しました。どちらも検出ツールの内部を知る必要はありませんでした。

ここから三つの実際的な帰結が導かれます。

• 検出はいたちごっこになる。SICOのアンサンブルや敵対的学習のような防御策は既知の攻撃には有効ですが、新しい攻撃が出るたびに境界はまた動きます。
• 転移があるため、違う作りだから安全という検出ツールはない。一つのモデルに対する最適化がほかのモデルも弱めました。これはRAIDベンチマークの全体像とも一致します。
• 表面的な形は著者性ではない。意味を保ったままの小さな変更で判定が覆るなら、その判定が追っていたのは文体の統計であって、誰が考えたかではありません。丁寧に書く人間の書き手、特に非ネイティブの英語の書き手が判定されてしまうのも、同じ理由です。

だからといって、授業の規則をすり抜けてよいことにはなりません。どちらの論文も、自らの研究を、検出を改善するために弱点を明らかにするストレステストと位置づけています。学術的な作業でAIツールを使うなら、誠実な道は、所属機関やジャーナルのポリシーに従い、必要な場合は開示し、作業過程が見えるように下書きを残しておくことです。

Academic Humanizerの位置づけ

研究者にとって、これらの研究から得られる有益な教訓は、意味と検出ツールの判定は切り離されうるということです。Academic Humanizerは意味を固定することを軸に作られています。Humanizerは検出ツールに判定された文だけを書き直し、主張、数値、用語、引用を保ち、人間の文として読まれている文には手を付けません。Turnitin、GPTZero、ZeroGPT、Copyleaks、Sapling、Originality.aiで検証されており、AI Detection Reportでは各書き直しが元の文の隣に表示されるので、すべての変更をあなた自身が承認できます。