TurnitinのAIスコアは何%でアウト？パーセンテージの意味

TurnitinのAIスコアとは、提出物の対象となる文章のうち、TurnitinのモデルがAIによって生成された、またはAIで生成された後に言い換えツールや回避ツールで修正されたと予測した部分の割合です。公式な「高すぎる」パーセンテージはありません。Turnitinは合格ラインを設けておらず、1%から19%はアスタリスクでしか表示せず、このスコアだけを学生への措置の根拠にすべきではないと述べています。不正をした確率ではなく、ファイル全体に占める割合でもありません。

以下の内容はすべて、文中にリンクしたTurnitin自身の公開ガイドとブログ記事に基づいています。Turnitinが数値を示している箇所では、その数値を引用し、誰の主張かを明記します。

パーセンテージが実際に測っているもの

TurnitinのAI文章検出FAQでは、処理の流れがいくつかのステップで説明されています。提出物から文が抽出され、重なり合うセグメントにまとめられます。各セグメントには検出モデルが0から1の値を付けます。対象となる各文は、自分が含まれるセグメントのスコアを引き継ぎ、重なり合うスコアは一つにまとめられ、文のスコアが集計されて、目にする文書全体の数値になります。

1. 文章を抽出する長文の段落の中にある文だけが、対象となる文章として数えられます。
2. 重なりを持たせて区切る文は重なり合うセクションにまとめられ、それぞれが文脈の中で判断されます。
3. 各セグメントをスコア化するモデルがすべてのセグメントに0から1の値を付けます。
4. 文のスコアをまとめる文はセグメントのスコアを引き継ぎ、重なり合うスコアは一つにまとめられます。
5. 割合を報告する指標は、対象となる文章のうちどれだけがAI生成またはAIによる修正と予測されたかを示します。

結果を読むうえで重要な点が二つあります。一つ目に、「対象となる文章」とは散文の文のことです。箇条書き、表、コード、詩、台本、注釈付き文献目録は確実には評価されず、参考文献リストは除外されます。パーセンテージがハイライトされた文章の量と合っていないように見えることがあるのはこのためです。二つ目に、AIスコアと類似度（Similarity）スコアは別物です。類似度が高くてもAIの使用については何もわからず、低くても何も否定できません。

2024年7月の更新以降、レポートでは合計がカテゴリー別に分けられるようになりました。またモデルのリリースノートによれば、2025年8月以降、「AI-generated only」カテゴリーには、TurnitinがAI回避ツールを通したと予測したテキストも含まれます。言い換えと回避ツールの検出は、英語の提出物にのみ適用されます。

指標の表示の読み方

Using the AI Writing Reportのガイドには、教員が目にする可能性のある表示が一覧になっています。最も混乱を招くのがアスタリスクです。

2024年7月より前に作成されたレポートでは、20%未満の数値が表示されていることがあります。たとえば12%と表示された古いレポートを見ている場合、現在のルールならその数値は*%として非表示になります。

スコアを左右するファイルの要件

英語の提出物にスコアが付くには、Turnitinが挙げる次の要件を満たす必要があります。長文形式の散文が300語以上、30,000語以下、ファイルサイズが100 MB未満、形式が.docx、.pdf、.txt、.rtfのいずれかであることです。長文のスペイン語、日本語、現代アラビア語には、それぞれ専用のモデルとFAQページがあります。

長さは単なる形式上の問題ではありません。TurnitinのFAQによれば、数百語程度の文書では、モデルが重なりのない単一のセグメントをスコア化するため、予測はほぼ「全か無か」になります。自分で書いた文とAIで磨いた段落が混ざった短い振り返りの文章が、全体として判定されて戻ってくることもありえます。Turnitinは2023年12月のリリースノートでも、テキストが少し長くなるだけで精度が上がると述べています。

Turnitinが偽陽性について述べていること

Turnitinによれば、AIによる文章が20%以上含まれる文書について、文書単位の偽陽性率は1%未満です。同社の言葉では、人間が書いた文書の100件に1件が判定される可能性があるということです。同社は、モデルを更新するたびに、ChatGPTの公開前に書かれた70万件以上の学術論文でこれを確認していると説明しています。

文単位になると話は変わります。2023年6月の記事で、Turnitinの最高製品責任者は文単位の偽陽性率を約4%とし、誤って判定された文の54%が実際のAI文章のすぐ隣、多くは人間の文章とAIの文章の切り替わり部分にあったと述べています。Turnitinはまた、ありきたりな序論や結論が置かれる文書の最初と最後の数文で偽陽性が多く見られたとして、2023年5月にそれを減らすためにロジックを変更したと説明しています。

Turnitinは、自らが選んだトレードオフについても率直です。偽陽性を低く抑えるために、一部のAIテキストを見逃すことを受け入れています。FAQでは、50%とスコア付けされた文書に、実際には最大65%のAI文章が含まれている可能性があるという例が示されています。設計は、判定を控えめにする方向に傾いているのです。

AIのパーセンテージは何%から高すぎるのか

Turnitinは、許容されるAIのパーセンテージを公表していません。レポートに組み込まれている線は20%だけです。1%から19%はアスタリスクで表示されますが、これはその範囲では偽陽性が多いとTurnitinが述べているためです。それを超えた場合に何%なら高すぎるかを決めるのは授業、学科、ジャーナルであり、そもそも誰も決めていないこともあります。

この数値を使わないことにした大学もあります。Vanderbiltは2023年8月にTurnitinのAI検出機能を無効にしました。2022年に75,000本の論文をTurnitinに提出しており、偽陽性率が1%なら、約750本の論文が誤って一部AIで書かれたと判定されていた可能性があると指摘しています。

ですから、どのパーセンテージも文脈の中で読みましょう。

• 20%をわずかに超えるスコアは、Turnitin自身が偽陽性が多いと見ている範囲のすぐ隣にあります。
• 300語の下限に近い短いファイルはほぼ1つのかたまりとして採点されるため、パーセンテージが大きく振れやすくなります。
• ある数値が何を意味するかを決めるのは、検出ツールではなく、あなたに適用されるポリシーです。そのポリシーがはっきりしないなら、書面で示してもらいましょう。

スコアからわからないこと

• 誰が文章を書いたか。モデルが予測しているのは単語の確率のパターンです。あなたの下書きやメモ、費やした時間にはアクセスできません。
• 意図やポリシーの遵守。多くの授業やジャーナルは、ある程度のAIの支援を認めています。パーセンテージからは、あなたの使い方が許可されたものだったかどうかを教員は判断できません。
• 文書全体に占める割合。リスト、表、参考文献は除外されるため、対象となる文章の40%が、長いファイルのごく一部にすぎないこともあります。
• 固定された真実。Turnitinは2025年10月と2026年2月にモデルを更新しました。古いレポートは再計算されませんが、再提出したファイルは現在のモデルでスコア化されるため、結果が変わることがあります。

TurnitinのFAQには、誤読されやすい人間の文章の種類も挙げられています。構造の変化に乏しい文章、繰り返しの多い文章、新しいアイデアを展開しない言い換えです。これは定型的な学術文と大きく重なります。このパターンについては形式的な文章がAIの文章に見える理由で取り上げています。独立した研究からはさらなる懸念も示されています。2023年の研究では、複数の検出ツールが非ネイティブの英語エッセイを高い割合で誤分類していました。Turnitinは、このバイアスを減らすために第二言語の書き手の文章を学習データに組み込んだと説明しています。

学生と研究者はどう読むべきか

Turnitin自身の教員向けガイダンスは、スコアを結論ではなく、話し合いのきっかけとなる一つのデータとして扱うよう求めています。あなたも同じ枠組みを使えます。

• 数値だけでなくレポートを求める。学生は初期設定ではAI指標を見られませんが、教員はダウンロードして共有できます。ハイライトされた文は、見出しの数値よりはるかに多くのことを教えてくれます。
• 長さと形式を確認する。320語の回答は下限に近く、ほぼ一つの塊としてスコア化されます。箇条書きの多い文書は、対象となる文章がわずかしかないこともあります。
• ハイライトの位置を見る。序論や結論、あるいは方法セクションの定型的な表現にハイライトが集中している場合は、指摘する価値があります。参考文献や引用にハイライトが付いている場合は、Turnitinで参考文献や引用がAI判定される理由をご覧ください。
• 作業過程の記録を持参する。版の履歴やメモは、別の検出ツールの結果よりも重みがあります。AIと誤判定されたときの対処法のガイドで手順を紹介しています。
• 自分が従うルールを知る。何が許可されていたかを決めるのは、授業やジャーナルのAIポリシーです。スコアではありません。

ジャーナルに投稿する研究者は、出版社が大学とは異なるチェックを行う場合があること、AIを活用した執筆に関する開示ルールが出版社によって異なることも覚えておきましょう。投稿前にポリシーを読んでおくほうが、後から説明するよりも手間がかかりません。

Academic Humanizerの位置づけ

Academic Humanizerは、自分自身の論証が機械の文章として読まれてしまう研究者のために作られています。AI Detection Reportでは、原稿のどの部分がAIとして読まれるかを一文ずつ示し、原稿と修正版を同じ基準で比較します。製品はTurnitin、GPTZero、ZeroGPT、Copyleaks、Sapling、Originality.aiで検証されています。Humanizerが書き直すのは判定された文だけで、それ以外の文は書いたとおりに残ります。特定のTurnitinレポートの結果を約束できるツールはないため、最終的な確認と、何を開示するかの判断はあなたに委ねられます。レポートの仕組みについてはAI Detection Reportの解説をご覧ください。