AI検出ツールは偏っている？非ネイティブの英語に多い誤判定

AI検出ツールは偏っているのでしょうか。最もよく知られた検証では、偏っていました。ネイティブ話者の文章よりも、英語を母語としない人の文章ではるかに多くの誤検出を起こしたのです。これが、スタンフォード大学のWeixin Liang、James Zouらによる2023年の研究 "GPT detectors are biased against non-native English writers"（学術誌Patternsに掲載）の中心的な発見です。よく使われる7つの検出ツールは、実際の学生が書いたTOEFLエッセイの平均61%をAI生成と判定した一方で、米国の中学2年生のエッセイはほぼ完璧に判定しました。

海外の研究者や留学生にとって、この論文は、検出ツールの判定がAIを使ったかどうかではなく、あなたの英語の書き方を反映しうることを示す最も明確な証拠です。研究の仕組み、バイアスが生じる理由、そしてその後の変化を見ていきます。

Liangらの研究デザイン

デザインはシンプルで、それが説得力の一因にもなりました。著者らは、すべて人間が書いた2組のエッセイを集めました。

• 中国の教育系フォーラムから集めた、英語を母語としない人によるTOEFLエッセイ91本。
• Hewlett FoundationのAutomated Student Assessment Prizeのデータセットから取った、米国の中学2年生によるエッセイ88本。

すべてのエッセイを、当時広く使われていた7つの検出ツール、Originality.AI、Quill.org、Sapling、OpenAIの分類器、Crossplag、GPTZero、ZeroGPTにかけました。すべて人間が書いたエッセイなので、AIという判定はすべて偽陽性です。

結果：TOEFLエッセイの61%にフラグ

検出ツールは米国のエッセイではほぼ完璧でした。TOEFLエッセイでは、7つのツールの平均偽陽性率は61.22%でした。さらに悪いことに、誤りはランダムに散らばっていたわけではありません。

91本中18本のエッセイは、すべての検出ツールでAI生成と判定されました。そして91本中89本は、少なくとも1つのツールでフラグが付きました。教員や編集者が非ネイティブの書き手のエッセイを手近なツールにかけた場合、少なくとも1回は誤警報が出る可能性が高いことを、これらの数字は示唆しています。

なぜ起きるのか：パープレキシティと限られた語彙

多くの検出ツールは、言語モデルが文章にどれだけ驚くかを示すパープレキシティに頼っています。モデルはありそうな単語を選ぶため、機械の出力はパープレキシティが低くなりがちです。問題は、人間の文章も、何の落ち度もない理由でパープレキシティが低くなりうることです。

第二言語で書く人は、より小さく無難な語彙と、よりありふれた文構造を使うことがよくあります。それは思考の欠陥ではなく、後から学んだ言語で書くときに多くの人がそうなるというだけのことです。しかし言語モデルにとって、そうした選択は予測しやすく、予測しやすいものは機械が作ったように見えます。著者らはパープレキシティを直接測定し、TOEFLエッセイのパープレキシティが米国のエッセイより有意に低いことを確認しました。

• 機械が生成した文章
• 非ネイティブの人間の文章

仕組みを示す説明用の例で、論文のデータではありません

語彙を豊かにする実験

語彙が本当にバイアスの原因なのかを確かめるため、著者らはChatGPTを編集者として使い、両方向の実験を行いました。

• 非ネイティブのエッセイを豊かにする。ChatGPTに、TOEFLエッセイの語の選択をネイティブ話者らしく改善するよう依頼しました。平均偽陽性率は61.22%から11.77%に下がり、7つすべての検出ツールでフラグが付いたのは91本中1本だけになりました。
• ネイティブのエッセイを単純化する。ChatGPTに、米国のエッセイの語の選択を非ネイティブの文章をまねて単純にするよう依頼しました。誤分類率は平均5.19%から56.65%に上昇しました。

• TOEFLエッセイ、元の版61.22%
• TOEFLエッセイ、語彙を豊かにした版11.77%
• 米国の中学2年生のエッセイ、元の版5.19%
• 米国の中学2年生のエッセイ、語彙を単純化した版56.65%

出典：Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

各エッセイの内容は同じままでした。変わったのは語彙だけで、判定はそれぞれの方向におよそ50ポイント振れました。著者らはその裏返しも示しています。ChatGPTに、自身が書いた大学の出願エッセイや科学論文のアブストラクトを、より文学的な表現で書き直させると、検出率が大きく下がりました。アブストラクトでは、検出率が最大68%から最大28%に下がりました。著者らの結論は、現在の形の検出ツールは、言語表現が限られた書き手を不利に扱う一方で、意図的に回避しようとする利用者には簡単にすり抜けられるかもしれない、というものでした。

海外の研究者にとっての意味

科学英語は、もともと誰もが定型的な言い回しを使う方向に向かわせます。そこに第二言語で書くという要素が加わると、多くの海外研究者の文章は、検出ツールが機械と結びつける領域にちょうど入ってしまいます。そこから、いくつかの実践的なポイントが導かれます。AI検出を回避する方法のガイドでは、それを推敲の手順に落とし込んでいます。

• フラグは不正の証拠ではない。著者らは、評価や教育の場で検出ツールを使うことに明確に警告しています。フラグが付いた場合の対応は、AIと誤判定されたときの対処法で解説しています。
• 執筆の過程を見えるようにしておく。下書き、メモ、版の履歴は、争いのあるスコアに対する最も強い反証です。下書きの履歴が学術的誠実性を裏づける仕組みをご覧ください。
• フォーマルであることは機械が作ったことと同じではない。同じ仕組みで、ネイティブ話者の文章でもフォーマルな文章がAIの文章に見える理由を説明できます。

研究の限界とその後の研究

この研究には現実的な限界があります。サンプルは91本と88本と控えめで、研究論文ではなく学生のエッセイです。検出ツールは2023年初めに検証されたもので、その後どのベンダーもモデルを更新しています。OpenAIは同年のうちに分類器の提供を終了しました。したがって、具体的な割合は当時のツールについてのものであり、現在のバージョンについてのものではありません。

その後の研究が示す状況はまちまちです。ICML 2024で発表されたゼロショット検出器Binocularsの著者らは、非ネイティブの書き手のエッセイを元の版と文法修正版で検証し、どちらでも99.67%の精度を報告しており、この影響を受けにくい手法もあることを示唆しています。一方で、Fast-DetectGPTの著者らは、非ネイティブの文章での偽陽性率の高さを、自分たちのタイプの検出器のリスクとして挙げています。これらの手法はFast-DetectGPTとBinocularsの解説で比較しています。根本的な緊張関係はなくなっていません。意外な語の選択を評価する検出ツールは、平易で丁寧な英語の判定に苦労するはずです。

Academic Humanizerの取り組み

Academic Humanizerは、英語を第二言語として書く多くの人を含め、自分のアイデアを機械の文章と誤ってラベル付けされてしまう研究者のために作られました。下書きを1文ずつチェックし、検出ツールがフラグを付けた文だけを書き換え、主張、数値、引用、分野の用語をそのまま保ちます。すでに人間らしいと判定された文は、書いたとおりに残ります。AI検出レポートが各変更を並べて表示するので、最終的な表現はあなたが承認します。あわせて、ジャーナルや所属機関のAIポリシーを確認しておくことをおすすめします。