AI检测研究论文书单：11 篇关键研究

如果你想真正理解 AI 文本检测，而不只是相信一个分数，大约十几篇论文就涵盖了大部分关键内容。它们解释了检测器如何度量文本、表现有多稳健、会误伤哪些人，以及表层改写多容易改变检测结论。本书单收录其中 11 篇，时间跨度从 2019 年到 2024 年，另加一篇面向教育工作者的研究。

每一条都列出完整标题、作者、发表刊物或会议、一条经核实的结论和论文链接。凡是我们写过详细解读的，也一并附上链接。

1. 2019：早期工具GLTR 和 GPT-2 输出检测器代表了至今仍占主导的两条路线：词元统计和训练分类器。
2. 2023：零样本检测与水印DetectGPT 和 LLM 水印提出了无需训练分类器的检测方法。
3. 2023：首批压力测试DIPPER 证明改写可以规避检测；Liang 等人揭示了对非英语母语写作者的偏见。
4. 2024：更便宜的检测器，更大的基准Fast-DetectGPT、Binoculars 和 Ghostbuster 提升了检测效果，RAID 和 M4 则在大规模上对其进行检验。

奠基之作：检测是怎样起步的

1. GLTR: Statistical Detection and Visualization of Generated Text

Sebastian Gehrmann, Hendrik Strobelt, Alexander M. Rush · ACL 2019（系统演示）

GLTR 按语言模型对每个词的排名给词着色。机器文本往往停留在排名最靠前的选项里，而人更常选用不那么可预期的词。在一项人类实验中，GLTR 让未经训练的受试者识别生成文本的准确率从 54% 提高到 72%。它的核心思想，即可预测性本身就是信号，至今仍是大多数检测器的基础。论文

2. Release Strategies and the Social Impacts of Language Models

Irene Solaiman et al. (OpenAI) · 报告，2019

这份关于 GPT-2 分阶段发布的报告，介绍了一个基于 RoBERTa 的分类器，也就是后来被广泛使用的 "GPT-2 Output Detector"。作者报告称，它检测 15 亿参数 GPT-2 生成文本的准确率约为 95%。这个检测器在后来的评测中再次出现：在 RAID 中，它在五个领域的 GPT-2 文本上得分超过 95%，但对其他模型生成的文本很少超过 60%。论文

零样本检测与水印

3. DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature

Eric Mitchell, Yoonho Lee, Alexander Khazatsky, Christopher D. Manning, Chelsea Finn · ICML 2023

DetectGPT 观察到，模型写出的文本往往位于模型对数概率的局部峰值上：做一点小扰动，概率就会下降。它不需要训练数据，只需要模型的概率和一个扰动模型（例如 T5）。在 GPT-NeoX 生成的假新闻上，它把 AUROC 从此前最好的零样本方法的 0.81 提高到 0.95。阅读我们的 DetectGPT 解读。论文

4. A Watermark for Large Language Models

John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein · ICML 2023

这种方法不靠文风去猜，而是在生成时就植入信号。在生成每个词之前，先伪随机地选出一份词元“绿名单”并轻度偏向它；之后检测器统计绿色词元的数量，进行一次可给出可解释 p 值的统计检验，无需访问模型本身。前提是模型提供方开启了这一功能。阅读我们的水印论文解读。论文

压力测试：规避与偏见

5. Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense

DIPPER 论文（见上方卡片）是 humanizer 研究的起点。一个 110 亿参数的改写模型在保留原意的同时，削弱了水印、DetectGPT、GPTZero 和 OpenAI 分类器的效果。论文提出的对策是在模型提供方存储的生成记录中检索相似内容，在 1% 误报率下识别出了 80% 到 97% 的改写文本。阅读我们的 DIPPER 解读。

6. GPT detectors are biased against non-native English writers

Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou · Patterns, 2023

研究者用 91 篇非英语母语者的 TOEFL 作文和 88 篇美国八年级学生的作文测试了七款常用检测器。检测器对美国学生作文的判断近乎完美，却把一半以上的 TOEFL 作文判为 AI，平均误报率为 61.22%；91 篇中有 89 篇至少被一款检测器标记。对同样的作文丰富词汇后，误报率降到 11.77%。阅读我们的检测器偏见解读。论文

2024：更快的检测器与更难的基准

7. Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text via Conditional Probability Curvature

Guangsheng Bao, Yanbin Zhao, Zhiyang Teng, Linyi Yang, Yue Zhang · ICLR 2024

Fast-DetectGPT 用一种基于采样的条件概率曲率度量，取代了 DetectGPT 代价高昂的扰动步骤。作者报告称，在白盒和黑盒设置下，它相对 DetectGPT 都有约 75% 的相对提升，检测速度快约 340 倍。论文

8. Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text

Abhimanyu Hans et al. · ICML 2024

Binoculars 比较的是：一段文本让一个模型感到多意外，与一个模型的预测让另一个模型感到多意外。无需任何训练数据，它在 0.01% 的误报率下检出了 ChatGPT 及其他 LLM 生成样本的 90% 以上。在 RAID 中，它在低误报率条件下表现最为突出。阅读我们的 Fast-DetectGPT 与 Binoculars 解读。论文

9. Ghostbuster: Detecting Text Ghostwritten by Large Language Models

Vivek Verma, Eve Fleisig, Nicholas Tomlin, Dan Klein · NAACL 2024

Ghostbuster 让文档依次通过几个较弱的语言模型，在它们特征的组合中搜索，再基于结果训练分类器，因此无需访问目标模型的概率。它在各领域达到 99.0 F1，比此前最好的模型高 5.9 F1，并发布了学生作文、创意写作和新闻的新数据集。论文

10. M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection

Yuxia Wang et al. · EACL 2024

M4 涵盖六个生成模型（包括 GPT-4、ChatGPT、Cohere、Dolly-v2 和 BLOOMz），领域从维基百科到 arXiv 摘要和同行评审意见，语言有七种：阿拉伯语、保加利亚语、中文、英语、印尼语、俄语和乌尔都语。它的主要发现是，检测器难以泛化到没见过的领域和模型，遇到这种情况时往往把机器文本判为人类撰写。它后来成为 SemEval-2024 Task 8 的基础。论文

11. RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors

Liam Dugan et al. · ACL 2024

RAID 用来自 11 个模型、8 个领域、4 种解码策略和 11 种对抗攻击的 600 多万条生成文本测试了 12 款检测器，并把每款检测器都校准到相同的误报率。在某种设置下表现出色的检测器，换一种设置就可能失效；仅仅加一个重复惩罚，准确率就最多下降 32 个百分点。阅读我们的 RAID 解读。论文

再推荐一篇给教育工作者

Debora Weber-Wulff 等人的 Testing of detection tools for AI-generated text（International Journal for Educational Integrity, 2023）用 54 份受控文档测试了 14 款工具。没有一款准确率达到 80%，而机器改写使平均准确率降到 26%。阅读我们对这项 14 款工具研究的总结或原论文。关于检测为什么可能始终很难的理论依据，参见我们的文章AI 生成的文本能被可靠检测吗。老师除了分数之外还会看什么，请看老师能看出 AI 写的吗？

如何阅读这些论文

• 看误报率。没有误报率的准确率数字很难解读。正因如此，DIPPER、Binoculars 和 RAID 都报告了固定低误报率下的检出率。
• 看测试了哪些模型和领域。在 GPT-2 或新闻文本上的结果，未必适用于当前模型写的方法部分。
• 注意日期。商业工具更新频繁，2023 年某款产品的分数只是一张快照。
• 看谁被误判。Liang 等人和 Weber-Wulff 等人的研究都表明，误判最常落在非母语写作和翻译文本上。

Academic Humanizer 的定位

把这些论文放在一起读，会发现检测器响应的是表层统计特征，而严谨的人类写作同样可能具有这些特征。Academic Humanizer 正是为那些自己的想法因此被误标的研究者打造的。Humanizer 只改写检测器标记的句子，保留你的论证、数字和引用；AI 检测报告用同一指标比较草稿与输出，让你可以审阅每一处修改。提交前，请一如既往地确认所在机构或期刊的 AI 政策。