AI检测器有偏见吗？非母语英文写作者的误判问题

AI 检测器有偏见吗？在最知名的那项测试中，答案是有：它们对非英语母语者文字的误报，远多于对母语者文字的误报。这是斯坦福大学 Weixin Liang、James Zou 等人 2023 年发表于期刊 Patterns 的研究 "GPT detectors are biased against non-native English writers" 的核心发现。七款常用检测器平均把 61% 的真实学生 TOEFL 作文判为 AI 生成，而对美国八年级学生的作文几乎全部判断正确。

对国际研究者和留学生来说，这篇论文是最清楚的证据：检测结论反映的可能是你写英文的方式，而不是你有没有用 AI。下面介绍这项研究如何进行、偏见为何产生，以及此后有哪些变化。

Liang 等人的研究是如何设计的

研究设计很简单，这也是它极具说服力的原因之一。作者收集了两组完全由人撰写的作文：

• 91 篇 TOEFL 作文，作者为非英语母语者，收集自一个中国教育论坛。
• 88 篇美国八年级学生的作文，取自 Hewlett 基金会的 Automated Student Assessment Prize 数据集。

他们把每篇作文都交给当时广泛使用的七款检测器：Originality.AI、Quill.org、Sapling、OpenAI 分类器、Crossplag、GPTZero 和 ZeroGPT。由于所有作文都是人写的，任何 AI 判定都属于误报。

结果：61% 的 TOEFL 作文被标记

检测器对美国学生作文的判断近乎完美。而在 TOEFL 作文上，七款工具的平均误报率为 61.22%。更糟的是，这些错误并不是随机分布的。

91 篇作文中有 18 篇被每一款检测器都判为 AI 生成，89 篇至少被一款标记。如果老师或编辑随手用手头的某个工具检查一篇非母语者的作文，这些数字意味着至少出现一次误报的可能性很高。

原因：困惑度与有限的词汇

许多检测器依赖困惑度，即语言模型对一段文字的意外程度。机器输出往往困惑度较低，因为模型会挑选可能性高的词。问题在于，人类写作也可能出于完全正当的原因而困惑度较低。

用第二语言写作的人，常常使用范围更小、更稳妥的词汇和更常见的句式。这不是思维上的缺陷，而是大多数人用后学语言写作时的自然状态。但对语言模型来说，这些选择是可预测的，而可预测看起来就像机器写的。作者直接测量了困惑度，发现 TOEFL 作文的困惑度显著低于美国学生的作文。

• 机器生成的文本
• 非母语者的人类写作

用于说明机制的示例，并非论文数据

词汇丰富化实验

为了检验词汇是否真的是偏见的根源，作者用 ChatGPT 作为编辑，从两个方向做了实验。

• 丰富非母语者作文的词汇。他们让 ChatGPT 改进 TOEFL 作文的用词，使其听起来更像母语者。平均误报率从 61.22% 降到 11.77%，91 篇中只有 1 篇仍被全部七款检测器标记。
• 简化母语者作文的词汇。他们让 ChatGPT 简化美国学生作文的用词，模仿非母语写作。误判率从平均 5.19% 升至 56.65%。

• TOEFL 作文，原文61.22%
• TOEFL 作文，用词丰富化后11.77%
• 美国八年级作文，原文5.19%
• 美国八年级作文，用词简化后56.65%

来源：Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

每篇作文的内容都没有变，只有词汇变了，而判定结果在两个方向上各摆动了约五十个百分点。作者还展示了另一面：让 ChatGPT 用更具文学性的语言改写它自己写的大学申请文书和科学摘要，检出率就大幅下降。就摘要而言，检出率从最高 68% 降到最高 28%。他们的结论是，现有形式的检测器可能会惩罚语言表达受限的写作者，而有心规避的用户却很容易绕过。

这对国际研究者意味着什么

科技英语本身就会把每个人推向标准化的措辞。再加上用第二语言写作，许多国际研究者的文字正好落在检测器认为属于机器的区间里。由此可以得出几点实用建议，我们的论文怎么降AI率把它们整理成了具体的修改步骤。

• 被标记不等于学术不端的证据。作者明确告诫不要在评估或教育场景中使用检测器。如果你被标记了，我们的指南被误判为 AI 写作时该怎么办介绍了应对方法。
• 让写作过程有据可查。草稿、笔记和版本历史是回应争议分数最有力的依据。参见草稿历史如何支持学术诚信。
• 正式不等于机器写的。同样的机制也解释了为什么即使是母语者，正式文体也可能看起来像 AI 写的。

研究的局限与后续工作

这项研究确实有局限。样本量不大，分别是 91 篇和 88 篇，而且是学生作文而非研究论文。检测器的测试时间是 2023 年初，此后每家厂商都更新了模型，OpenAI 也在当年晚些时候撤下了其分类器。因此，具体百分比描述的是当时的那些工具，而不是今天的版本。

后续研究给出的图景并不一致。在 ICML 2024 上发表的零样本检测器 Binoculars，其作者测试了非母语者作文的原始版本和语法修正版本，两者准确率都是 99.67%，说明有些方法对这种效应不那么敏感。另一方面，Fast-DetectGPT 的作者则把非母语写作上较高的误报率列为此类检测器的风险。我们在 Fast-DetectGPT 与 Binoculars 详解中比较了这些方法。根本矛盾并没有消失：任何奖励出人意料的用词的检测器，都会更难判断朴实、严谨的英文。

Academic Humanizer 的应对思路

Academic Humanizer 正是为那些自己的想法被误标为机器文本的研究者打造的，其中许多人以英语为第二语言写作。它逐句检查草稿，只改写检测器标记的句子，保持你的主张、数字、引用和学科术语不变；已被判读为人类撰写的句子则完全保持原样。AI 检测报告把每处修改并排显示，由你确认最终措辞；同时确认期刊或所在机构的 AI 政策，也是一个好习惯。