AI检测器准确率有多高？RAID 基准测试告诉你

AI 检测器的准确率有多高？很多检测器宣称达到 99% 甚至更高。在 ACL 2024 上发表的 RAID 基准，正是为了在一个共享的高难度数据集上检验这类说法。它的答案是：检测器确实可以达到很高的准确率，但只是在很窄的条件下，而且往往要允许大量误报；只要文本的生成方式稍有变化，或者被轻微改动，它们就可能接近失效。

下面介绍 RAID 包含什么、如何评估检测器，以及为什么它的数字很少与厂商落地页上的数字相符。

RAID 里有什么

RAID 刻意做得很大。早期的检测数据集往往只用一两个生成模型、一种解码设置，而且不做攻击，这会让检测器显得很好。RAID 同时改变了所有这些因素。

10% 的数据不公开标签，作为隐藏测试集，作者还维护了一个公开排行榜，让新的检测器可以在同一基础上比较。另有一个 RAID-extra 数据集，增加了 230 万条 Python 代码、捷克语新闻和德语新闻的生成文本。

论文摘要是八个领域之一，这使得 RAID 比只基于新闻或网页文本的基准更贴近学术写作者的情况。

为什么误报率决定一切

检测器输出的是一个分数。要把它变成“AI”或“人写”，就得有人选定一个阈值。RAID 的作者表明，这个选择的影响比大多数营销宣传所承认的要大得多。

首先，他们检查了使用 0.5 这类朴素阈值时的情况。好几个开源检测器，尤其是基于指标的检测器，产生了作者所说的高得危险的误报率。商业检测器的校准更好，在测试的常用阈值下，没有一个的误报率超过 1.7%。

其次，他们绘制了准确率随误报率变化的曲线。检测器确实可以达到病毒式传播的报道中引用的那种极高准确率，但前提是允许同样很高的误报率。随着可容忍的误报率降低，大多数检测器的准确率急剧下降，很少有检测器能在 1% 以下工作。有些甚至根本达不到测试的最低误报率，停留在 16.9%（ZeroGPT）、0.88%（Fast-DetectGPT）和 0.62%（Originality）。Binoculars 是明显的例外，在低误报率下依然表现良好。

• AI 文本检出率
• 人写文本误报率

RAID 所衡量的权衡关系的示意，并非论文数据。

在论文其余部分，每个检测器都被校准到在 RAID 人写文本上 5% 的误报率，并报告该点的准确率。这是比较工具唯一公平的方式，也是 RAID 的数字看起来低于厂商宣传的原因，因为厂商往往根本不说明误报率。

采样、重复惩罚与未见过的模型

RAID 中一些最惊人的结果根本不涉及攻击，只是普通的生成设置。

重复惩罚。加入重复惩罚（抑制模型重复使用相同 token）后，在各检测器、生成模型和领域中，准确率最多下降了 32 个百分点。作者指出，尽管重复惩罚会让输出听起来更像人写的，但此前没有任何关于检测器稳健性的研究报告过这一点。

解码策略。每一类检测器在贪心解码上的表现都明显好于随机采样。

未见过的生成模型。用 GPT-2 输出训练的 RoBERTa 检测器，在五个领域的 GPT-2 文本上得分超过 95%，但在同领域其他模型的文本上很少超过 60%。检测器在训练时见过的模型和领域上表现最好，作者在商业工具中也观察到了类似模式。

论文的总结很直白：只要更换生成模型、更换解码策略或加入重复惩罚，就足以让原本看起来很出色的检测器出现 95% 甚至更高的错误率。

对抗攻击对不同检测器的影响

RAID 的攻击刻意采用简单的黑盒编辑。它们的效果因检测器而有很大差异，这是论文较有价值的发现之一。

• Originality，无攻击85.0%
• Originality，同形字符攻击9.3%
• Binoculars，无攻击79.6%
• Binoculars，同义词替换43.5%
• GPTZero，无攻击66.5%
• GPTZero，同形字符攻击66.2%

来源：Dugan et al. 2024，表 6。

• 把一小部分词替换为同义词，就让 Binoculars 和其他基于指标的方法下降了多达 36.1 个百分点。
• 同形字符（外观相同但码位不同的字符）几乎对每个检测器都造成了打击。GPTZero 只下降了 0.3 个百分点；另外五个平均下降了 40.6 个百分点。
• 经过对抗训练的检测器（如 RADAR）表现要稳健得多。
• 有些攻击反而有帮助。GPT-2 RoBERTa 检测器在 T5 改写后提高了 16.2 个百分点，可能是因为改写器让文本更接近该检测器自身的训练数据。

这一切背后的模式，与Weber-Wulff 等人对 14 款工具的测试等较小规模研究中看到的相同：检测器读取的是表层统计特征，而不同检测器读取的特征不同。一个不改变含义的改动，仍然可能让文本越过某个检测器的判定线。

为什么基准数字与厂商宣传不同

产品页面上说 99%，通常指的是在厂商自己的测试集上的 99%：这个测试集取自检测器训练时针对的模型、领域和设置，使用的阈值也不会告诉读者。RAID 在每一点上都不同：

• 它固定并报告误报率，因此准确率无法靠误判人写文本来换取。
• 它包含检测器可能从未见过的模型和领域。
• 它改变了真实用户和工具经常调整的解码设置。
• 它施加了真实文本本来就会经历的低成本编辑，比如错别字、格式变化和改写措辞。

两个数字都不是假的，它们回答的是不同的问题。厂商的数字告诉你工具在其设计条件下的表现。RAID 告诉你条件变化时它的表现，而这更接近真实稿件的遭遇。这一差距也解释了我们在为什么 AI 检测器结果不一致中讨论的、检测器对同一段落意见不一的很多情况。

作者在伦理声明中划出了一条明确的界线：鉴于误报问题尚未解决，在更好的评估标准被广泛采用之前，他们反对在纪律处分或惩罚性场景中使用检测器。

这对学术写作者意味着什么

如果你借助 AI 写作，RAID 提醒你：任何单一检测器的分数，都取决于你看不到的设置。把一个结果当作一次读数，查看所在机构或期刊关于 AI 辅助的政策，并保留你的写作过程记录。如果有人拿分数来指控你，这类基准证据是请求人工复核的合理依据；我们关于被误判为 AI 时该怎么办的文章介绍了具体步骤。Turnitin 能查出 ChatGPT、Claude 和 Gemini 吗？针对 RAID 没有测试的 Turnitin 探讨了同一个问题。

Academic Humanizer 的定位

由于检测器之间意见不一且结果会变化，Academic Humanizer 会对照多个检测器而不是单一检测器来检查结果。它对照 Turnitin、GPTZero、ZeroGPT、Copyleaks、Sapling 和 Originality.ai 进行验证。Humanizer 只改写被检测器标记的句子，保留你的术语、数字和引文；它的 AI Detection Report 用同一标准把原稿和输出并排展示，包括仍被标记的句子，让你在投稿前决定哪些地方需要修改。