AI检测器准不准？一项 14 款工具研究的发现

AI 检测器准确吗？根据迄今记录最为详尽的公开测试之一，并不太准。2023 年，八位学术诚信研究者撰写了原创文本，用 ChatGPT 生成了其他文本，又对其中一部分进行了编辑和改写，然后把全部 54 份文档提交给 14 个检测器。没有一个准确率达到 80%。发表在 International Journal for Educational Integrity 上的结论毫不含糊：这些工具 "neither accurate nor reliable"（既不准确，也不可靠）。

本文解释这项研究是如何设计的、数字实际说明了什么，以及为什么它对研究者最有用的启示比“检测器毫无用处”更具体、更实际。检测器分数是一个信号，而不是证据。

研究是如何设计的

这篇论文的长处在于它的测试集。九位研究者（八位作者加一位合作者）各自准备了六份文档，因此每个样本的真实情况都是已知的。约 10,000 个字符的人写文本都是新写的，大致相当于本科水平，涉及土木工程、计算机科学、经济学、历史、语言学和文学等领域。这些文本从未出现在互联网上，排除了模型在训练中见过它们的可能。

检测器包括 Check For AI、Compilatio、Content at Scale、Crossplag、DetectGPT、Go Winston、GPT Zero、GPT-2 Output Detector Demo、OpenAI Text Classifier、PlagiarismCheck、Turnitin、Writeful GPT Detector、Writer 和 ZeroGPT。其中十二个是免费网页工具；Turnitin 和 PlagiarismCheck 是为团队提供了访问权限的商业系统。总计 756 次独立测试，于 2023 年 3 月至 5 月间完成。

由于工具报告的是概率而不是“是”或“否”，作者把每个输出映射到一个五级量表上，并用三种不同的方法计算准确率。不同方法下工具的排名几乎没有变化，这让人更难把结果归咎于计分方式。

核心结论：没有工具达到 80%

所有工具的准确率都低于 80%，只有五个超过 70%：Turnitin、Compilatio、GPT-2 Output Detector、Crossplag 和 Go Winston。在三种计分方法下，Turnitin 都排名第一。GPT-2 Output Detector 排名第三让作者颇感意外，因为它从未在 GPT-3.5 的输出上训练过。

• Turnitin76%
• Compilatio74%
• GPT-2 Output Detector Demo72%
• GPT Zero54%
• PlagiarismCheck39%
• Content at Scale33%

来源：Weber-Wulff et al. 2023，表 5（二元方法，每个工具 54 份文档）。

不过，总体准确率掩盖了大部分实情。真正有意思的是每个工具在哪里失手。

准确率在哪里崩溃

按所有工具和计分方法平均，英文人写文本的正确判断率为 96%。未经编辑的 ChatGPT 文本为 74%。此后，数字迅速下滑。

• 人写文本（01-Hum）96%
• ChatGPT，未编辑（03/04-AI）74%
• ChatGPT，人工编辑（05-ManEd）42%
• ChatGPT，机器改写（06-Para）26%

来源：Weber-Wulff et al. 2023，第 5.1.1 节（所有准确率方法的平均值）。

机器翻译。用其他语言写成、再机器翻译成英文的人写文本，被正确判断的比例比英文原创文本低约 20 个百分点。即使每个观点都出自人手，翻译也会留下被工具解读为机器输出的统计痕迹。

轻度人工编辑。替换同义词、调整分句顺序，也就是作者所说的 patchwriting（拼凑式写作）那种快速处理，就让平均准确率降到了 42%。

机器改写。用 Quillbot 改写一遍，准确率就降到 26%。大多数改写过的 AI 文本被判为人写。

为什么如此浅层的改动影响这么大？大多数检测器并不理解含义。正如我们在AI 检测器的工作原理中所解释的，它们衡量的是每个词有多可预测、文本节奏有多均匀。改动足够多的用词，统计指纹就会变化，而内容保持不变。这是检测器的脆弱性，而不是文字本身的属性。

偏向“人写”，以及错误指控的问题

除了 GPT Zero 这个明显的例外，每个工具对人写文本的准确率都高于对 AI 文本的准确率。作者认为这很可能是有意的设计选择，并指出在教育场景中这是更安全的方向。尽管如此，两个方向的错误都存在。

研究团队定义了一个错误指控率：在人写的样本中，工具的输出可能让教师据此指控学生的比例。英文原创文本的平均值为 2.4%，机器翻译文本为 11.1%。一半工具从未产生错误指控；GPT Zero 是个异类，达到 50%，作者认为它不适合学术用途。在这组测试中，Turnitin 没有出现错误指控。

另一方面，平均约 20% 的未编辑 AI 文本未被检出，经过混淆处理的则约有一半未被检出。团队还发现同一份文档在不同日期得到不同结果：Check For AI 的一次测试先报告低风险，五天后又报告高风险。对于面临指控的人来说，这种不一致与错误率同样重要。

翻译相关的结果尤其值得国际研究者关注。用母语写作再翻译自己的作品是正当的做法，但在这项研究中却增加了被误判的风险。这与我们在GPT 检测器对非母语写作者存在偏见中介绍的发现相吻合。

作者的建议

结论主要面向教育者，而且态度坚定：

• 检测器的输出绝不应成为学术不端举报的唯一依据。与文本比对软件不同，AI 检测器不提供可供核查的来源，学生也就没有具体的东西可以反驳。
• 一个标记可以引发与学生的对话，而不是一个定论。
• 预防应先于检测：明确说明生成式 AI 的合规与不合规用法，并重新设计考核，重视写作过程而非最终成品。
• 机构应考虑把学生作品上传到云端检测服务所涉及的隐私和法律问题。

论文也坦承了自身的局限。它只测试了英文、单一生成模型，以及 2023 年初时的工具。此后厂商已经更新了产品，所以具体百分比不应被当作当前分数。真正延续下来的是方法和失效模式，而后来的研究，如 RAID 基准，在大得多的规模上发现了同类弱点。

如果你借助 AI 写作，这意味着什么

如果你是研究者或学生，可以得出三点实用建议。第一，弄清所在机构或目标期刊实际允许什么，并在要求时披露 AI 的使用。第二，保留你的草稿、笔记和版本历史；研究作者强调检测器不提供证据，而你自己的过程记录是你所能拥有的最有力的证据（参阅草稿历史如何支持学术诚信）。第三，如果你被标记，已发表的错误率数据可以作为你请求人工复核的合理依据。我们的指南被误判为 AI 时该怎么办介绍了如何进行这场沟通。如果是老师提出了标记，老师能看出 AI 写的吗说明了老师除了分数之外通常还会看什么。

Academic Humanizer 的定位

正是这类研究催生了 Academic Humanizer：正式、经过仔细修改的学术文字，可能恰好落在检测器划定的界线附近，好的想法因此被误标。Humanizer 逐句扫描稿件，只改写检测器标记的句子，其余部分完全保持你写的样子，并保留你的论断、数字和引文。内置的 AI Detection Report 把每个被标记的句子与其改写并排展示，并用同一标准比较两个版本，让你看到改了什么，并在使用前亲自复核每一行。