改写能绕过AI检测吗？DIPPER 论文详解

改写能绕过 AI 检测吗？在 2023 年的一项测试中，大体上能：来自 UMass Amherst 和 Google 的研究者证明，只要用一个优秀的改写模型处理一遍，AI 生成的文本就能躲过大多数检测器，而意思几乎不变。他们在 NeurIPS 2023 发表的论文中，在固定 1% 误报率下把 DetectGPT 的检出率从 70.3% 降到了 4.6%。论文还提出了一种完全不依赖文风判读的防御方法。

这篇论文是后来大多数 AI humanizer 研究和检测器稳健性研究的起点。下面介绍它做了什么、发现了什么，以及这对借助 AI 写作的人意味着什么。

DIPPER 是什么

DIPPER（Discourse Paraphraser 的缩写）是一个基于 T5-XXL 微调的 110 亿参数模型。当时的大多数改写工具一次只处理一个句子，而 DIPPER 经过训练，可以改写整个段落，利用原始提示等上下文信息，并跨句调整内容顺序。

它的训练数据来自 PAR3，这个数据集收录了同一批非英语小说的多个英译本。两位译者翻译同一段落，自然会产生彼此的改写版本：用词和语序不同，内容相同。这为模型提供了人们如何用不同方式表达同一想法的真实样本。

DIPPER 有两个控制参数，都在推理时设置：

• 词汇多样性（L）：措辞改动的程度。作者指出，L = 20 大致对应 20% 的词汇修改。
• 顺序多样性（O）：段落内内容重排的程度。

在主要实验中，L 设为 20、40 或 60，O 设为 0 或 60，每段文本只改写一次，而不是反复重试直到通过检测。

实验如何设置

作者用三个规模差异很大的模型生成了 300 词元的文本：GPT-2 XL（15 亿参数）、OPT-13B 和 GPT-3.5（text-davinci-003）。任务是维基百科段落的开放式续写和长篇问答。

随后他们测试了五款检测器：Kirchenbauer 等人的水印、DetectGPT、GPTZero、OpenAI 的 AI 文本分类器和 RankGen。每款检测器都调到 1% 的误报率，也就是 100 篇人类文本中只有 1 篇会被误标。作者认为这才是评判检测器的正确方式，并补充说在实际中即便 1% 也可能太高。

为了检查改写是否保留了原意，他们使用了语义相似度模型 P-SP，并辅以人工评估。

检出率发生了什么变化

• DetectGPT，GPT-2 XL 文本70.3%
• DetectGPT，改写后4.6%
• 水印，GPT-2 XL 文本100%
• 水印，改写后57.2%
• OpenAI 分类器，GPT-3.5 文本30.0%
• OpenAI 分类器，改写后15.6%

来源：Krishna et al. 2023，第 4.3 节（维基百科开放式生成）。

在所有模型、检测器和任务中，无论多样性参数如何设置，改写都降低了检出率。与此同时，88% 到 99% 的改写文本相似度得分高于人工改写句对的中位数，说明原意基本得到保留。

另有两个发现值得关注：

• 水印最为稳健。它仍能识别出大多数改写过的 GPT-2 XL 文本，因为部分水印词元在改写后得以保留。它的优势来自生成时植入的信号，这与文风是不同性质的证据。这种信号如何运作，见我们的水印论文解读。
• 非水印检测器在较大模型上，改写前就已经很弱。在这些设置下，GPTZero 和 RankGen 对未改写的 AI 文本检出率不到 15%；在长篇问答中，DetectGPT 从 GPT-2 XL 上的 74.9% 降到 OPT-13B 上的 29.8%。OpenAI 在 2023 年 7 月以准确率低为由撤下了其分类器。

为什么保留原意的改写会改变判定

只要回想一下这些检测器测量的是什么，这个结果就不那么令人意外了。正如我们在 AI 检测器的工作原理中解释的，DetectGPT 等统计型检测器衡量的是每个词元在语言模型下出现的可能性；水印检测器统计的是来自秘密“绿名单”的词元。两者都不读论证。

改写保留了论证，却从另一个模型的分布中重新选择了每一个词。让原文看起来像机器写的（或带有水印的）那些词元，被替换成了意思相同的其他词元。检测器看到的是新的统计指纹，读者看到的是同一个段落。

这就是这篇论文留给所有后来者的核心洞见：基于文风的检测测量的是表层形式，而表层形式可以在意思不变的情况下改变。同样的道理也解释了为什么在课堂测试中轻度的人工编辑就会让检测器困惑，以及为什么大约同期发布的 Sadasivan 等人的论文认为检测可能存在根本性的局限。

检索防御

论文的后半部分提出了一种不依赖文风的防御方法。它不问“这看起来像机器写的吗？”，而是问“我们的模型有没有写过意思相同的内容？”

1. 存储语言模型提供方把其 API 生成的每一条输出都保存到数据库中。
2. 编码把待检查的文本转换成其内容的表示。
3. 检索系统使用 BM25 或 P-SP 语义模型，查找内容匹配的已存储生成内容。
4. 判定如果存在足够接近的匹配，就把该文本标记为来自该提供方的模型。

由于改写保留了内容，它仍然能与存储的原文匹配。在包含 1500 万条生成内容的数据库中，检索在各种设置下识别出了 80% 到 97% 的改写文本，而只误标了 1% 的人类文本。在长篇问答中，BM25 检索对三个模型改写程度最高的文本分别识别出 97.8%、97.3% 和 96.2%，而表现最好的其他检测器分别只有 55.8%、51.4% 和 38.1%。

作者坦率地讨论了局限性。检索只有在提供方运行时才有效，只能检测该提供方自己的输出，而且随着数据库增长，存储、隐私和误匹配都会成为现实问题。在本地运行的开源权重模型则完全不在其覆盖范围内。

humanizer 研究的脉络

DIPPER 确立了后续研究所沿用的范式：用另一个模型转换 AI 文本，在固定的低误报率下测量检出率，并验证原意是否保留。SICO 证明仅靠提示词就能达到同样的效果。RAID 基准把改写列为十一种标准攻击之一。更新的研究则利用检测器自身的反馈来引导改写。

对学术写作者来说，这里的教训不是一份操作秘籍，而是提醒你检测结论到底能说明什么。被标记或没被标记，反映的只是文本的表层统计特征与某个模型的预期是否吻合，并不能可靠地说明想法出自谁。这就是为什么你的草稿和笔记比任何分数都重要，也是为什么你应该查看所在机构或期刊关于 AI 辅助的规定，并在要求时进行披露。此后商业检测器也有了变化；见降AI后 Turnitin 能查出来吗？

Academic Humanizer 的定位

Academic Humanizer 反向运用了这项研究的启示：既然检测器响应的是表层模式，目标就是在保留关键内容的前提下尽可能少地改动。Humanizer 只改写检测器标记的句子，其余部分原样保留，并保持主张、数字、限定语和引用不变。它的 AI 检测报告把每个被标记的句子与改写句配对显示，让你在使用结果前逐行核对原意。