AI检测器准不准？解读 Sadasivan 论文：AI文本能被可靠检测吗

AI 检测器可靠吗？根据 Vinu Sankar Sadasivan、Aounon Kumar、Sriram Balasubramanian、Wenxiao Wang 和 Soheil Feizi 在 2023 年发表的论文 "Can AI-Generated Text Be Reliably Detected?"，当有人主动设法规避时不可靠，而且随着语言模型越来越像人写的，就越来越不可靠。这篇论文后来发表于 Transactions on Machine Learning Research，成为 AI 检测器争论中被引用最多的论点之一。

论文提出了三个主张：改写机器文本，尤其是反复改写，能击败所有主要类型的检测器；检测器还可能被“伪造”，从而把人类文本标记为 AI；任何检测器的表现都存在一个数学上限。本文逐一解释这三点，再看看后续研究如何反驳。

主张一：递归改写能击溃检测器

这种攻击描述起来很简单。拿一段语言模型写的文字，交给改写模型处理；再把改写结果改写一遍，如此反复。作者称之为递归改写（recursive paraphrasing），并用多个改写模型在约 300 个词元的段落上做了测试，其中包括 DIPPER，一个由另一团队专为此类研究打造的 110 亿参数模型。

他们针对的是四类检测器：

• 水印检测器，寻找在生成时植入的隐藏统计模式。我们对 LLM 水印论文的解读介绍了它的工作原理。
• 训练分类器，例如 OpenAI 发布的基于 RoBERTa 的检测器。
• 零样本检测器，例如 DetectGPT，直接读取模型自身的概率。
• 检索检测器，把一段文字与模型所有生成内容的数据库进行比对。

• 水印，原文（1% FPR 下的 TPR）99.3%
• 水印，递归改写后9.7%
• 零样本检测器，原文（AUROC）96.5%
• 零样本检测器，改写后（AUROC）25.2%

来源：Sadasivan et al., "Can AI-Generated Text be Reliably Detected?", arXiv 2303.11156

对于带水印的文本，递归改写使 1% 误报率下的真阳性率从 99.3% 降到 9.7%。对于零样本检测器，AUROC 从 96.5% 跌到 25.2%，比随机猜测还差。作者还做了人工评估，报告称改写后的文本基本保持了原意和语法，但部分情况下质量有所下降。

主张二：检测器可以被伪造

第二种攻击方向相反：让人类文本看起来像机器写的。作者证明，攻击者只需查询带水印的模型，无需了解检测器的工作方式，就能推断出水印偏好哪些词。用这些词写作，就能让人类文本触发水印。在他们的实验中，伪造攻击使软水印的检测 AUROC 从 99.8% 降到 1.3%，也就是说检测器已无法区分真正带水印的文本和伪造文本。

对于作品要接受检测器审查的人来说，这是更令人不安的结果。一个能被骗去指控人类写作的检测器，对被它评判的人来说是声誉风险，而不只是模型开发者的问题。

主张三：AUROC 上界

理论结果把检测能力归结为一个数字。把人类可能写出的所有文本看作一个概率分布，把模型可能写出的所有文本看作另一个分布。两者之间的总变差距离 TV 衡量它们的差异程度，范围从 0（完全相同）到 1（毫无重叠）。论文证明，对任何检测器都有：

AUROC ≤ 1/2 + TV − TV²/2

当 TV 较大时，这个上界很宽松，好的检测器是可能存在的。随着模型改进、其输出分布向人类写作靠拢，TV 缩小，可达到的最佳 AUROC 就会滑向 0.5，也就是抛硬币。

数值由论文中的上界公式计算得出，并非实验结果。

• 分布相距较远
• 分布彼此接近

用于说明上界含义的示例，并非论文数据

反方观点

这篇论文引发了强烈回应，其中三种值得了解。

文本更多，检测就重新可行

Souradip Chakraborty 等人在 ICML 2024 的立场论文 "Position: On the Possibilities of AI-Generated Text Detection" 中指出，这个上界针对的是单个样本。如果检测器看到更多文本，无论是更长的段落还是同一来源的多个样本，两个分布就更容易区分；除非人类文本和机器文本在整个范围内完全相同，检测始终是可行的。他们推导出了所需的文本量。简而言之：上限对单个样本确实存在，但会随长度提高。

水印比预想的更耐改写

提出原始绿名单方法的水印团队由 John Kirchenbauer 牵头，在 "On the Reliability of Watermarks for Large Language Models"（ICLR 2024）中研究了这个问题。他们发现，无论是人工改写还是机器改写，水印都仍可被检测，因为改写后的文本往往会保留原文的片段。在一个人工大幅改写的设置中，平均约 800 个词元后，水印就能在极低误报率下被检测出来。

以检索作为防御

开发 DIPPER 的 Kalpesh Krishna 等人在 NeurIPS 2023 论文中提出，模型提供方可以存储自己的输出并进行检索。在存储 1500 万条生成内容的情况下，他们在 1% 误报率下识别出了 80% 到 97% 的改写输出。Sadasivan 等人回应称，递归改写同样能削弱检索。我们在 DIPPER 改写如何规避 AI 检测器中介绍了 DIPPER。

实际意味着什么

这场争论最终落在一个合理的中间立场上。检测在长文本上比短文本效果好，在检测器知道该预期哪个模型时效果好，并且随着模型和改写工具的进步而变弱。没有任何一种反方观点声称单个段落可以被确定无疑地判定。这在一款商业检测器上如何体现，请看降AI后 Turnitin 能查出来吗？

• 短段落的不确定性最大。摘要或单个段落恰恰是单样本上界起作用的地方。RAID 等基准展示了检测表现如何随设置变化。
• 误差是双向的。检测器会漏掉改写过的机器文本，也会标记人类文本，正如关于对非母语写作者偏见的研究所示。
• 分数是概率，不是判决。把它当作证据的机构，依赖的是研究并不支持的确定性。

Academic Humanizer 的定位

如果在段落层面检测本身就不确定，诚实作者的明智做法是去看驱动分数的那些句子，而不是靠猜。Academic Humanizer 扫描草稿，找出被检测器标记的句子，只改写这些句子，同时保留原意、数字和引用，被判读为人类撰写的句子则原样保留。它的 AI 检测报告用同一指标比较改写前后的版本，并直接告诉你是否仍有内容被标记。每一处修改都由你审阅确认，查看所在机构或期刊的 AI 政策也仍是你需要做的一步。