Turnitin能检测AI水印吗？大模型水印原理详解

Turnitin 对其 AI 检测器的公开描述，是一个对写作模式打分的训练好的分类器，其中没有提到读取水印。大语言模型（LLM）水印是另一种思路：在 AI 生成文本的那一刻就藏入统计信号，以便之后由持有秘密密钥的软件确认文本的来源。最知名的方法是 John Kirchenbauer 等人发表的 "A Watermark for Large Language Models"（ICML 2023），它让模型稍稍偏向一组秘密的、随机选出的“绿色”词。读者看不出来，但一个简单的统计检验就能统计绿色词的数量，在一小段文字里检测出这种模式。

在讨论 AI 检测时，水印经常被提起，也经常被误解。本文解释绿名单方法如何运作、论文报告了哪些结果、编辑如何削弱信号，以及目前实际部署了什么。

绿名单水印如何运作

语言模型每次生成一个 token，token 可以是一个词，也可以是词的一部分。在选择每个 token 之前，水印方案会执行以下步骤：

1. 用上一个 token 生成种子对刚生成的 token 做哈希，作为随机数生成器的种子。
2. 划分词表用这个种子把整个词表分成绿名单（占比 γ）和红名单（其余部分）。
3. 调整概率采样前给绿色 token 的分数加上一个小的加成 δ，使绿色词更容易被选中。
4. 正常采样选出下一个 token。对文本中的每个位置重复这一过程。

论文描述了两种版本。硬水印直接禁止红色 token，当唯一合理的下一个词恰好是红色时，就会损害文本。软水印（大多数人说的就是这种）只调整概率。当模型很有把握时（低熵，比如 "Barack" 后面接 "Obama"），加成几乎不起作用，质量得以保护。当很多词都同样合适时，加成就起决定作用，绿色词便越积越多。

The survey results suggest that rural clinics face persistent staffing gaps across both regions.

示例说明。绿色 = 该位置绿名单上的 token，红色 = 红名单。不带水印的文本中，绿色大约只占 γ 的比例。

检测水印：z 分数检验

检测不需要访问模型。任何持有秘密哈希密钥的人，都可以根据前一个 token 重建每个位置的绿名单，并统计文中有多少 token 是绿色的。人写的文本对这些名单一无所知，所以大约只有 γ 比例的 token 会碰巧是绿色的。带水印的文本则会更多。

检验要回答的是：绿色 token 的数量有多出人意料。设共有 T 个 token，其中 G 个是绿色，论文使用单比例 z 检验：

z = (G − γT) / √(T × γ × (1 − γ))

如果 z 超过阈值，文本就被标记为带水印。阈值取 z = 4 时，不带水印的文本偶然越过阈值的概率约为 0.00003，即十万分之三。这个算式也说明了为什么短文本也能检测：在 γ = 0.5 的硬水印下，16 个全为绿色的 token 就已经能得到 z = 4。

在论文使用数十亿参数 OPT 模型的实验中，在约 200 个 token 的序列、δ = 2、γ = 0.5、普通多项式采样的条件下，检验捕获了 98.4% 的带水印文本，且在该设置下没有误报。δ 越大，水印越强、越容易检测，但文本质量会有所下降。

水印能否经受编辑

由于每个位置的绿名单取决于前一个 token，改动一个词只会扰乱几个位置的绿红状态，而不是整篇文本。作者测试了一种用 T5 模型替换文本片段的攻击。它削弱了水印，但替换也让文本明显变差，因此在去除信号和保持文字可用之间存在取舍。

后续研究测试了更强的攻击：

• 改写。Sadasivan 等人报告，在 1% 误报率下，递归改写把 300 个 token 带水印段落的检出率从 99.3% 降到了 9.7%。参阅AI 生成的文本能被可靠检测吗？
• 伪造。同一篇论文还表明，攻击者可以从模型输出中估计出绿名单，把人写的文本伪造成看似带水印的样子，使检测器的 AUROC 从 99.8% 降到 1.3%。
• 对可靠性的辩护。Kirchenbauer 团队在 "On the Reliability of Watermarks for Large Language Models"（ICLR 2024）中作出回应：经过人工和机器改写后，水印仍然可以检出，因为改写会保留原文的片段。在一个人工大幅改写的设置中，要在极低误报率下检出，平均需要约 800 个 token。

公允地总结：轻度编辑不会破坏水印，大幅改写会削弱它，而文本越长，检测器可利用的信息就越多。我们关于 DIPPER 改写的文章对改写这一面有更详细的介绍。

为什么 Turnitin 用的不是水印

水印只能在施加了水印的模型所生成的文本中找到，而且只有持有密钥的人才能找到。人们粘贴到检测器里的文本大多来自各种不同的模型，其中大部分并没有与任何检测服务商共享水印密钥。这就是商业检测器采用不同方法的原因。Turnitin 对其 AI 写作检测的公开说明描述的是一个经过训练的 transformer 分类器：提交的文本被切分成相互重叠的片段，对每个句子打分，再把分数汇总成整篇文档的估计值。这个描述中没有任何读取水印的环节。我们在Turnitin AI 检测分数详解中解释了这个指标，在AI 检测器的工作原理中介绍了更广泛的检测器类型。Turnitin 自己说能在各种聊天机器人上检测到什么，见 Turnitin 能查出 ChatGPT、Claude 和 Gemini 吗？

水印在业界的现状

水印已经从研究走进了至少一个大型生产系统。Google DeepMind 于 2024 年 10 月在 Nature 上发表了 "Scalable watermarking for identifying large language model outputs"，介绍了 SynthID-Text。它只改动采样步骤，检测时无需运行语言模型。团队报告了一项覆盖近 2000 万条 Gemini 回复的线上实验，用户评价的质量没有下降。

OpenAI 的态度更为谨慎。它在 2024 年 8 月的一次更新中表示，自家的文本水印方法在应对改写这类局部篡改时非常准确，但面对翻译或用另一个模型改写这类全局性改动时则不然，而且可能对非英语母语者等群体造成不成比例的影响。当时它尚未发布这一工具。

所以，水印确实存在，而且在它设计针对的狭窄场景中有效：确认某段文本是否由特定服务商的模型生成。它无法回答“稿件中是否用过任何 AI”这个一般性问题。

这与 Academic Humanizer 有什么关系

对大多数研究者来说，日常真正要面对的检测器是给每个句子的文风打分的分类器，而不是水印读取器。Academic Humanizer 正是在这个层面工作的：它找出被检测器标记的句子，只改写这些句子，同时保留论断、数字、引文和术语，其余部分保持原样。AI Detection Report 会把每个被标记的句子和它的改写并排列出供你审阅，你仍应遵守所在机构或期刊的 AI 披露规定。