GPTZeroの精度は？GPTZero・Turnitin・ZeroGPTを比較

GPTZeroの精度はどの程度なのでしょうか。独立した検証によれば、同社自身の数値が示すほど高くはなく、ZeroGPTやTurnitinも同様です。3つのツールが1つの段落に異なる判定を出すより大きな理由は、そもそも同じものを測っていないことです。Turnitinは散文に占める割合を、GPTZeroは文書全体についての確率を報告し、Originality.aiはどの程度のAIを許容するかを利用者に決めさせます。さらに各ツールは、異なる場所に線を引き、異なる最低文字数を設け、異なるデータで学習し、独自のスケジュールで更新されるモデルを使っています。

これは、どれか一つのツールが壊れている証拠ではありません。本当に判断の難しいテキスト、そして形式的な学術文はしばしばそうなのですが、そうしたテキストに対して複数の確率的な分類器がそれぞれ独立に判断すれば、こうなるのです。

報告している数値が同じではない

スコアが違う理由を最も手早く知る方法は、各ベンダーが見出しの数値の意味をどう説明しているかを読むことです。以下の表はベンダー自身の公開ページだけに基づいており、誤り率の数値は私たちではなくベンダーの主張です。

このうち二つを並べてみましょう。GPTZeroの説明によれば、「4% AI」は文書の4%にAIが含まれているという意味ではなく、文書全体がAIによって書かれたというモデルの確率です。一方、Turnitinの40%は、あなたの散文のうちどれだけがAI生成に見えるかについての主張です。どちらもパーセンテージですが、答えている問いが違います。Saplingも自社のハイライトについて同じ注意を促しています。ハイライトは全体のスコアと異なることがある、というものです。

しきい値は方針の選択である

どの検出ツールも、連続的なスコアをラベルに変換しており、その区切りをどこに置くかは設計上の判断です。人間とAIのテキストが生むスコアの分布は重なり合っています。しきい値を右に動かせば人間の判定は減りますがAIの見逃しが増え、左に動かせばその逆になります。

• 人間が書いたテキスト
• AIが生成したテキスト

説明用の図で、特定の検出ツールのデータではありません

ベンダーはどちらに傾けているかを公言しています。Turnitinは1%から19%のスコアを非表示にし、50%とスコア付けされた文書にそれ以上のAIが含まれている可能性を受け入れています。GPTZeroは、偽陽性よりも偽陰性を優先する方向に検出器を偏らせる出力の対応付けを説明しており、確信が持てないときは一般に「human」の側に寄せるとしています。Originality.aiは現在、AI Allowanceの設定を通じて判断の一部を利用者に委ねており、Copyleaksは感度の調整機能を提供しています。二つのツールが根底にあるシグナルでは一致していても、ラベルでは食い違うことがあるのです。

長さと区切り方で判定が変わる

検出ツールが測定するには、十分な量のテキストが必要です。Turnitinは散文300語未満のものにはスコアを付けず、短い文書はほぼ一つの塊としてスコア化されると説明しています。Saplingは、約50語を超えると検出器の精度が大きく上がるとしています。GPTZeroは、予測がテキストの大部分にわたるパターンに左右されることがあるため、ハイライトされた数文を編集しても思ったほどスコアが動かない場合があると述べています。

これは文単位のAI検出で取り上げている、文単位と文書単位の問題です。重なり合う範囲をスコア化するツール、文書全体をスコア化するツール、一文ずつスコア化するツールでは、同じ段落でも読み方が変わります。

We recruited 214 first-year nursing students across two campuses in spring 2024. The findings highlight the importance of resilience in shaping academic outcomes. Resilience scores rose most among students who had previously failed a clinical placement. These results contribute to a growing body of literature on student wellbeing.

説明用の例です。一般的な枠組みの文はAIとスコア化されやすく、具体的なデータを含む文は人間とスコア化されやすい傾向があります。文書単位のツールは、これらを平均して一つの判定にすることがあります。

学習データが違えば死角も違う

各分類器は、人間と機械のテキストの独自の組み合わせから、そして特定の生成モデル群から学習しています。Turnitinは、英語の検出器が捕捉するよう学習しているモデルの一覧を公開しています。Saplingの変更履歴にも、新しいモデルファミリーを順次追加していく同じパターンが見られます。あるベンダーは学習済みで別のベンダーは未学習のモデルが生成または推敲した段落は、同じようにはスコア化されません。その対象範囲についてはTurnitinでChatGPT・Claude・Geminiはバレる？で見ています。

独立したベンチマークは、これがどれほど重要かを示しています。RAIDは、ACL 2024で発表されたDuganらによる共通ベンチマークです。このベンチマークでは、8つのドメインにわたる11のモデルによる600万件以上の生成テキストで、11種類の敵対的攻撃と4種類のデコード戦略を用いて12の検出ツールが検証されました。著者らは、検出ツールが攻撃、サンプリング戦略の変更、繰り返しペナルティ、未知の生成モデルによって簡単にだまされることを明らかにしました。

International Journal for Educational Integrityに掲載されたそれ以前の研究、Weber-Wulff et al.（2023）では14のツールを検証し、その採点で精度80%に達したものはなく、テキストを人間と分類する傾向があることがわかりました。こうした結果が98%や99%というベンダーの数値と並んで存在するのは、使っているテストセット、テキストの種類、精度の定義が異なるからです。

更新周期でゴールが動く

検出ツールは頻繁に変わります。Turnitinは2025年10月と2026年2月にモデルを更新し、2026年7月にはアーキテクチャを統合しました。古いレポートは再計算されませんが、再提出したファイルは再計算されます。Saplingの変更履歴には2026年9月の更新が記録されています。Originality.aiも同じ月に従来のモデルを廃止しました。春に見たスコアは、秋に編集者が使う測定器とは別の測定器による値なのです。

GPTZeroの精度は？ZeroGPTは？

どちらのベンダーも高い数値を公表しています。GPTZeroは偽陽性率を1%以下に抑えているとし、ZeroGPTは98.4%の検出精度をうたっています。独立した検証ではより低く、ばらつきのある結果が出ていますが、以下の検証はいずれもこれらのツールの現行バージョンより前のものです。

• Weber-Wulffらの2023年の研究では、最も厳しい採点方法で、GPTZeroが54件のテスト文書の54%を正しく分類したのに対し、ZeroGPTは59%、Turnitinは76%でした。誤った告発の面でもGPTZeroは際立っており、人間が書いた18件の文書の半数で、その出力が誤った告発につながりえました。ZeroGPTではそうしたケースはありませんでした。
• RAIDベンチマーク（2024年）では、GPTZeroは偽陽性率5%で66.5%の精度に達し、ほかの多くの検出ツールを弱らせたホモグリフ攻撃にもほとんど影響されませんでした。ZeroGPTは、RAIDのしきい値テストで偽陽性率を16.9%より下げることができませんでした。

では、GPTZeroはTurnitinと同じくらい正確なのでしょうか。ここで両方を検証した唯一の研究では、2023年初めの時点でTurnitinが上回っており、その後どちらのツールも更新されています。どちらのスコアも判決ではなく、一つの測定値として扱いましょう。

では、最も正確なAI検出ツールはどれか

テキストの種類、長さ、言語、生成モデルを問わず通用する唯一の答えはありません。答えを一つ示す人は、何らかのテストセットの結果を引用しているにすぎません。ベンダーの精度の主張は自社の評価に基づくものです。独立したベンチマークは、より低く、よりばらつきのある数値を報告しています。より役に立つ問いは、あなたの作品を評価する人が実際にどの検出ツールを使っているのか、そしてあなたのテキストが複数のツールでどう振る舞うのか、です。

だからこそ、複数の検出ツールで確認する意味があります。

• 一致は有益な情報になる。五つのツールが人間の文と読み、一つだけが判定したなら、その判定はおそらくノイズです。六つすべてが同じありきたりなつなぎの文を判定したなら、自分の言葉で書き直す価値があります。
• 食い違いは境界線上のテキストを示す。ツールによって判定が入れ替わる文は、たいてい定型的なものです。決まり文句の書き出し、まとめの文、評価的な常套句などです。形式的な文章がAIの文章に見える理由をご覧ください。
• 最終的な裁定者となるツールはない。Turnitin、GPTZero、Saplingはいずれも、自社の出力を人に関する判断の唯一の根拠にすべきではないと述べています。

Academic Humanizerで複数の検出ツールを確認する

Academic Humanizerは、上の六つの検出ツール、Turnitin、GPTZero、ZeroGPT、Copyleaks、Sapling、Originality.aiで検証されています。Humanizerは原稿をスキャンして検出ツールに判定される文を見つけ、その文だけを書き直し、すでに人間の文として読まれている文は書いたとおりに残します。内蔵のAI Detection Reportでは、人間の文として読まれた文の割合を前後で比較します。将来の版のテキストを特定の検出ツールがどうスコア化するかは保証できません。だからこそレポートは一文ずつ根拠を示し、最終的な確認をあなたに委ねているのです。