AI检测器能被骗过吗？SICO 与提示词规避详解

不借助额外的改写模型，单靠一条提示词就能骗过 AI 检测器吗？2024 年发表在 Transactions on Machine Learning Research 上的一篇论文给出了肯定的回答。它的方法 SICO 用几十个人写示例构建提示，在作者的测试中把六个检测器推到了接近抛硬币的水平。

2025 年的一篇 NeurIPS 论文走得更远，用检测器自己的分数逐个 token 地引导改写器。把这两篇论文放在一起读，与其说它们展示了巧妙的技巧，不如说揭示了检测器构建方式上的一个结构性弱点。本文解释这两项研究及其含义。

通俗地说，SICO 做了什么

SICO 是 Substitution-based In-Context example Optimization（基于替换的上下文示例优化）的缩写。早期的规避研究，例如 DIPPER 改写器，会单独训练一个模型来改写 AI 文本。SICO 提出了另一个问题：既然大模型很擅长照着示例做，那么提示中合适的示例能否完成同样的工作？

概括来说，这个方法分为三部分：

• 描述差异。向模型展示针对同一任务的 AI 回答和人写回答的配对，让它描述人写文字的区别所在。
• 优化示例。通过词级同义词替换和句级改述，分几轮改进上下文示例。由一个代理检测器给每个候选打分，在保持含义相近的约束下，保留那些让示例看起来不那么像机器写的改动。
• 复用提示。最终的提示（特征描述、任务指令和优化后的示例）可以用于同一任务的新输入。

这套设置成本很低。作者报告只需要 40 个人写示例和有限次数的模型调用，据他们估计，GPT-3.5 API 费用约为 1 美元。SICO 有两种形式：SICO-Gen 直接生成任务输出，SICO-Para 改写已有的 AI 输出。"write like a human"（像人一样写）这类简单指令则是另一回事；见为什么简单的提示词往往无效。

如何测试

实验在三项任务上使用 GPT-3.5：学术短文写作（补全 SQuAD 数据集中的维基百科段落）、开放式问答（ELI5 问题）和伪造 Yelp 评论。每项任务有 200 条 AI 生成文本和 200 条人写文本。

测试了六个检测器：一个在 GPT-3.5 文本上微调的 RoBERTa 模型（也是优化时使用的代理检测器）、OpenAI 的 GPT-2 输出检测器、GPTZero、OpenAI AI 文本分类器、DetectGPT 以及一种对数排名方法。SICO 与四个改写基线进行了比较，包括 DIPPER 和一个手写的“让它听起来像人写的”提示。

检测器的质量用 AUC 衡量：1.0 表示完美区分 AI 文本和人写文本，0.5 则与随机猜测无异。

结果显示了什么

SICO 在所有设置中都胜过所有基线，并且在大多数情况下把检测器的 AUC 压到了 0.5 以下。在学术写作任务上，降幅很大：

• DetectGPT，原始文本0.834
• DetectGPT，SICO-Para0.149
• GPTZero，原始文本0.779
• GPTZero，SICO-Para0.290
• GPT-3.5 检测器，原始文本0.908
• GPT-3.5 检测器，SICO-Para0.239

来源：Lu et al. 2024，表 1（写作任务）。AUC 为 0.5 相当于随机猜测。

AUC 远低于 0.5，意味着检测器认为 SICO 文本比真正人写的文本更像人写的。作为对比，DIPPER 在同一任务上只把 GPTZero 降到了 0.689。

质量也没有明显下降。在写作任务的人工评估中，SICO-Gen 文本的可读性得分为 3.84，人写文本为 3.92；任务完成率为 93.6%，人类写作者为 98.2%。DIPPER 的任务完成率只有 70.6%。

作者还测试了一种防御方法。把原始检测器与另一个在 SICO 文本上训练的检测器配对，取两者中较高的分数，可以让 GPT-2 检测器在 SICO-Para 写作文本上的 AUC 从 0.332 提升到 0.762，而在普通 AI 文本上几乎没有损失。

Adversarial Paraphrasing：用检测器本身来引导

这篇论文背后的马里兰大学团队从一个合理的观察出发：较新的检测器，尤其是在改写文本上训练过的检测器，已经越来越难用普通改写来欺骗。在他们的测试中，简单改写反而让 RADAR 和 Fast-DetectGPT 在 1% 误报率下的真阳性率分别提高了 8.57% 和 15.03%。

他们的方法不需要任何训练。一个现成的指令模型（他们的设置中是 LLaMA-3-8B）负责改写文本，每一步由检测器给候选的下一个 token 打分，选择看起来最不像 AI 的候选。作者将其描述为深度为一个 token 的检测器引导搜索。

在 OpenAI RoBERTa-Large 检测器的引导下，这种攻击让 RADAR 和 Fast-DetectGPT 在 1% 误报率下的真阳性率分别降低了 64.49% 和 98.96%，在涵盖神经分类器、水印和零样本方法的八个检测器上平均降低了 87.88%。关键词是迁移：针对一个检测器优化，削弱了类型完全不同的检测器。作者报告文本质量大多只有轻微下降，并专门分析了这一权衡。

这些研究揭示了检测器稳健性的什么问题

撇开方法名称，两篇论文表达的是同一个观点。检测器是一个分类器，它学到了两种文本分布之间的一条边界。任何能够查询检测器（或一个合理替代品）的东西，都能摸清这条边界在哪里。SICO 通过少量提示示例做到了这一点，Adversarial Paraphrasing 则通过逐 token 的选择。两者都不需要了解检测器的内部结构。

由此可以得出三个实际结论：

• 检测成了一场军备竞赛。SICO 的集成检测或对抗训练等防御措施对已知攻击有帮助，而每一种新攻击都会再次移动这条边界。
• 迁移性意味着没有哪个检测器能靠“与众不同”而安全。针对一个模型优化会削弱其他模型，这与 RAID 基准呈现的整体情况一致。
• 表层形式不等于作者身份。如果微小的、保持含义的改动就能翻转结论，那么这个结论追踪的就是文体统计特征，而不是谁在思考。这也正是认真写作的人，尤其是非母语英文写作者会被标记的原因。

这一切都不意味着规避课业规定是可以接受的。两篇论文都把自己的工作定位为暴露弱点的压力测试，以便改进检测。如果你在学术工作中使用 AI 工具，正当的做法是遵守所在机构或期刊的政策，在要求时进行披露，并保留草稿，让你的写作过程有据可查。

Academic Humanizer 的定位

对研究者来说，这些文献带来的有用启示是：含义和检测器的结论可能是脱节的。Academic Humanizer 围绕“保持含义不变”而设计：Humanizer 只改写检测器标记的句子，保留你的论断、数字、术语和引文，被判为人写的句子则完全不动。它对照 Turnitin、GPTZero、ZeroGPT、Copyleaks、Sapling 和 Originality.ai 进行验证，AI Detection Report 会把每处改写与原文并排展示，由你亲自确认每一处改动。