AI检测器原理：为什么自己写的论文也会被判AI

AI 检测器的工作方式，是衡量一段文字在语言模型看来有多可预测，而不是去理解文字的含义，这也正是你自己写的文字可能被判为 AI 的原因。有的检测器用困惑度和突发性这类简单统计量，有的用基于标注样本训练的分类器，还有少数依靠在生成时嵌入文本的隐藏水印。它们都不知道文字是谁写的，只判断这种模式是否像机器输出。

每种方法都有各自的弱点，而几乎所有方法都有一个共同点：严谨、正式、遵循惯例的文字天生就是可预测的。这就是为什么一段精心编辑的方法部分，得分可能比一篇随手写的博客更接近“AI”。下面介绍主要方法的原理、研究揭示的局限，以及学术写作为何如此接近判定线。

核心信号：模型有多意外？

语言模型会为每一个可能的下一个词（更准确地说，下一个词元）分配概率。模型生成文本时，往往会选择高概率的词元，因为从模型中采样本来就是这样运作的。人类写作者不受这条规则约束。我们会选一个不寻常的动词，回指三页之前的某个细节，或者为了强调而打破固定模式。

困惑度把这一点变成一个数字。把一段文字交给模型，问它在给定前文的情况下每个词元出现的可能性有多大，再取平均。困惑度低，说明模型觉得这段文字很好预测；困惑度高，说明模型一直感到意外。GPTZero 自己的说明文章大致也是这样定义困惑度的，并把较高的分数视为人类写作的迹象（GPTZero）。

The results of this study suggest that soil moisture plays an important role in seedling survival, though only after the second frost.

绿色：模型预期中的词元。中性：主题词。红色：模型认为不太可能出现的词元。前半句读起来像模板；后面的限定语才是人类读者和检测器都会注意到的地方。

这个思路比 ChatGPT 还早。2019 年，哈佛和 IBM 的研究者推出了工具 GLTR，按每个词在模型预测中的排名给它着色，帮助人们识别生成文本。在他们的研究中，这种可视化让未经训练的读者识别率从 54% 提高到 72%（Gehrmann et al., ACL 2019 demo）。

突发性：句子之间的变化

困惑度是在词元层面测量的。突发性（burstiness）则往上看一层：可预测性在句与句之间变化有多大。人类文字往往起伏交替：一个简短的陈述句，接着一个带两个从句和一个括号插入语的长句，然后是一个不完整的短语。生成文本的节奏则常常更平稳，句子长度和结构都相近。

追踪突发性的检测器会看这段文字是否有这种起伏。平坦的曲线会把分数推向“AI”。问题在于，许多文体本来就刻意保持平坦。摘要、实验方案描述以及法律或监管文本，都要求句式统一。

困惑度和突发性容易解释，所以在大众文章中占据主导。但它们已不是全部。GPTZero 自己也表示，它已转向深度学习架构，如今只把这两个指标当作众多指标中的一部分，而不是主要方法。

训练分类器

如今大多数商业检测器都是监督式分类器。团队收集大量人类撰写和机器撰写的文本，加上标注，再微调一个神经网络来区分两者。网络会学习一切能区分两类文本的特征：用词、短语频率、标点习惯、段落形态，以及一些没人能说清的模式。

在与训练数据相似的文本上，分类器可以非常准确。研究系统 Ghostbuster 把几个较弱语言模型的特征输入分类器，在其基准上跨领域达到 99.0 F1（Verma et al., NAACL 2024）。问题在于漂移。一个用某一代模型、某一组文体和某一种解码设置训练出来的分类器，只要其中任何一项改变，就可能失灵。RAID 基准涵盖 11 个模型、8 个领域和 11 种对抗攻击的 600 多万条生成文本，发现检测器很容易被采样策略的变化、没见过的模型和简单的攻击所欺骗（Dugan et al., ACL 2024）。

最清楚的警示来自 OpenAI。它在 2023 年 1 月发布的 AI 文本分类器，在其挑战集上只正确标记了 26% 的 AI 文本，还把 9% 的人类文本误标。OpenAI 在 2023 年 7 月以准确率低为由撤下了它（OpenAI）。

零样本统计方法

第二类检测器完全跳过训练。这些零样本方法用语言模型自身的概率来检验一段文字。

斯坦福提出的 DetectGPT 基于一个观察：从模型中采样的文本往往位于该模型对数概率的局部峰值。用另一个模型（作者使用的是 T5）稍微改动几个词，机器文本的概率会迅速下降，而人类文本的变化则不那么有规律。在一个 200 亿参数模型生成的假新闻上，DetectGPT 达到 0.95 AUROC，而最强的零样本基线为 0.81（Mitchell et al., ICML 2023）。

• 机器生成的段落
• 人类撰写的段落

示意形状，依据 Mitchell 等人（2023）描述的方法绘制

DetectGPT 计算成本高，因为它要为每段文字的许多扰动副本打分。Fast-DetectGPT 用更便宜的采样估计取代了扰动步骤，报告称相对提升约 75%，速度提高 340 倍（Bao et al., ICLR 2024）。Binoculars 比较两个密切相关的模型对同一文本的打分，报告称在不使用 ChatGPT 数据训练的情况下，以 0.01% 的误报率检出了 90% 以上的 ChatGPT 样本（Hans et al., ICML 2024）。

水印

水印把检测提前到了生成的那一刻。在 Kirchenbauer 等人提出的方案中，模型在每一步都用前一个词元的哈希值把词表分成“绿名单”和“红名单”，然后让采样偏向绿色词元。知道哈希规则的检测器统计绿色词元的数量，再做一次统计检验。人类文本的结果接近随机水平，带水印的文本则绿色词元过多（Kirchenbauer et al., ICML 2023）。

水印只有在写出文本的模型确实施加了水印时才有效，而且只对知道密钥的检测器有效。经过大量编辑后，水印也会减弱。Krishna 等人证明，一个经过训练的改写模型在 1% 误报率下把 DetectGPT 的检出率从 70.3% 降到 4.6%，水印检测效果也随之下降（Krishna et al., NeurIPS 2023）。所以在实际中，你的大学或期刊使用的检测器是分类器和统计打分器，而不是水印读取器。

逐句评分与全文评分

检测器报告结果的粒度各不相同。有的为整篇文档给出一个概率；有的为每个句子或短窗口打分，高亮可疑部分，再汇总成一个百分比。例如 Turnitin 会高亮句子，并在其官方说明中提到句子级误报率约为 4%（Turnitin）。

逐句评分信息量更大，但噪声也更大。一个句子的词元很少，困惑度估计就不稳定。全文评分更稳定，却看不出问题出在哪里。我们在逐句 AI 检测中详细讨论了这种取舍，在为什么 AI 检测器结论不一致中解释了不同工具为何意见不一。

为什么正式的学术文体总在判定线附近

上述每一种方法都奖励意外、惩罚惯例，而学术写作恰恰建立在惯例之上。各学科都把措辞标准化，好让读者快速浏览论文："Participants were randomly assigned to"、"These findings are consistent with"、"Further research is needed to"。写作规范不鼓励花哨的修辞。非母语写作者往往依赖范围更窄、更稳妥的词汇。这些都会降低困惑度。

最清楚的证据来自斯坦福的 Liang 等人。他们用七款检测器测试了非英语母语者写的 TOEFL 作文和美国八年级学生的作文。检测器对母语者作文的判断近乎完美，却平均有 61.3% 的概率把 TOEFL 作文误判为 AI。研究者用 ChatGPT 丰富这些作文的词汇后，平均误报率降到 11.6%（Liang et al., Patterns 2023）。

• 原始作文61.3%
• 丰富词汇后11.6%

来源：Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

这里的教训并不是检测器毫无用处，而是它们的分数既反映作者身份，也同样反映文风。一位用朴实、规范英文写作的严谨研究者，完全没有使用 AI，也可能落到判定线的错误一侧。我们在对 Liang 研究的解读和为什么正式文体看起来像 AI 写的中更深入地探讨了这一效应。想用能保住你自己观点的修改方法，请看论文怎么降AI率。

Academic Humanizer 的定位

Academic Humanizer 正是为最后这个问题而打造的。Humanizer 逐句扫描草稿，只改写检测器标记的句子，其余部分完全保持你写的原样，同时保留你的论证、数字、引用和术语。内置的 AI 检测报告把每个被标记的句子与改写句并排显示并比较两个版本，结果会对照 Turnitin、GPTZero 和 Originality.ai 等检测器进行检验。在把任何工具用于要提交的作品之前，请查看所在机构或期刊的 AI 政策，并在输出发出之前亲自通读。