博客
产品更新

AI检测支持其他语言吗?Humanizer 多语言路线图

Turnitin 和 GPTZero 只支持部分语言,大多数检测器都是围绕英语构建的。Humanizer 的语言支持进展如何,以及为何每新增一种语言都需要大量工作。

英语以外的 AI 检测远不如英语完善:Turnitin 的 AI 写作检测覆盖英语、西班牙语、日语和阿拉伯语,而大多数检测器最初都是围绕英语构建的。Humanizer 目前接受英文输入。韩语、西班牙语、中文、日语和法语正在开发中,应用内的输入说明也已将它们标为“即将推出”。Academic Humanizer 网站和本博客已提供 10 种语言版本。

我们没有为新的输入语言给出上线日期,本文会解释原因。要在一种语言里做好 Humanizer 改写,并不是翻译那么简单。它取决于检测器在该语言中的表现、文本如何切分成单元,以及该语言中好的学术文字是什么样子。

目前的语言支持情况

1种当前输入语言(英语)
5种即将支持的输入语言
10种网站与博客语言
范围语言状态
Humanizer 输入英语现已可用
Humanizer 输入韩语、西班牙语、中文、日语、法语即将推出,尚未公布日期
网站与博客英语、韩语、日语、简体中文、西班牙语、法语、德语、印地语、意大利语、葡萄牙语现已可用

英文输入覆盖了学术出版的很大一部分,也是大多数 AI 检测器最初针对的语言。许多用英文发表论文的研究者,英语是他们的第二或第三语言,所以仅支持英文输入,服务的其实已经是一个多语言的作者群体。

为什么多语言改写比看上去更难

像 Humanizer 这样的句子级工具,在每种语言里都要完成三件事:正确地把稿件切分成句子,找出被检测器标记的句子,再只改写这些句子,并保持符合学科的语体。离开英语,每一步都会变难。

1. 检测器主要是为英语打造的

大多数常用的 AI 检测器主要基于英文文本开发和测试。它们在其他语言上的表现研究得较少,而已有研究表明,当文字偏离训练时见过的模式,检测器就可能误判。针对非母语英文写作的研究发现,检测器把这类文字判为 AI 生成的比例远高于母语者的写作,主要原因是较简单、较可预测的措辞在检测器看来像机器写的。我们在GPT 检测器对非母语英文写作者存在偏见一文中介绍过这项研究。

如果在英语内部检测都不均衡,那么跨语言时不均衡只会更明显。在开放一种新的输入语言之前,我们需要知道哪些检测器能处理它、它们之间的判断如何不一致,以及误判在该语言中是什么样子。

2. 文本的切分方式不同

检测器和语言模型读的不是单词,而是 token,也就是模型词表中恰好包含的文本片段。在英语中,常见单词往往就是一个 token。而在词尾变化丰富或词与词之间没有空格的语言里,同一个意思可能被切成更多、更碎的片段。

同一个意思如何被切分成 token(示意)

The results were significant / 결과가 유의미했다

仅为示意。绿色:常见的完整词片段。红色:被拆成更小片段的词。实际切分取决于各模型的词表。

这一点有两方面影响。统计型检测器会判断每个 token 的可预测程度,切分不同,它们看到的信号也就不同。而且分句本身也因语言而异:中文和日语使用不同的句末标点,词间没有空格;韩语和日语的句尾还承载着敬语和语体。分句出错的改写工具,就会改错片段。

3. 各语言的学术语体不同

“读起来像人写的”在每种语言中并不是同一个目标。好的学术文字遵循不同的惯例:

  • 韩语研究论文通常使用平述式句尾,语气正式、客观。
  • 日语论文一般使用书面的常体,而不是口语化的敬体,并且全文要保持一致。
  • 西班牙语和法语学术文字常偏好较长的句子和无人称结构,放在英语里会显得冗长。
  • 中文学术写作有一套自己的正式连接词和固定搭配,过度使用正是模板化文本的典型特征。

如果改写结果只是把自然的英语风格硬搬到另一种语言里,读者不会买账,检测器多半也不会。每种语言都需要它自己对“干净的学术句子”的理解,还要妥善处理学科术语,而这些术语往往混合了本土词汇和英语外来词。

Turnitin 和 GPTZero 能检测其他语言的 AI 内容吗?

有些可以,但仅限有限的几种语言。Turnitin 的 AI 写作报告使用指南列出的支持语言是英语、西班牙语、日语和阿拉伯语,其他语言的文件不会得到 AI 写作报告。这并不等于检测结果干净。Turnitin 对经 AI 改写和经 AI 绕过工具处理的文本的检测只适用于英语。

GPTZero 的 FAQ 称其模型支持英语、西班牙语、法语、德语等语言,Copyleaks 则称覆盖 30 多种语言。这些都是厂商自己的说法。英语以外的独立测试远比英语少。

如果你用其他语言写作,可以得出三点:

  • 先确认你所在学校或期刊使用的检测器是否支持你的语言。
  • 对于新支持的语言,其分数所依据的测试要比英语少。
  • 谨慎使用翻译。在 2023 年一项针对 14 款工具的研究中,机器翻译成英语的人写文本被正确分类的比例比英语原文低约 20 个百分点(见那项研究的发现)。

开放一种语言之前我们要检查什么

  1. 分句该语言的稿件必须按读者的理解方式切分成句子。
  2. 检测器覆盖我们需要了解所对照的检测器在该语言上的表现。
  3. 语体质量改写结果必须读起来像该语言的正式学术文字,而不是翻译过来的英语。
  4. 含义与术语数字、引文和学科术语在改写后必须完整保留。

只有通过这些检查,一种语言才会从“即将推出”变为可用。这也是我们不承诺日期的原因:只有真正做好,才算完成。

在此之前可以怎么做

如果英语是你的第二语言而你用英文写作,Humanizer 现在就能为你所用。系统会逐句扫描你的稿件,只改写被标记的句子,其余部分保持你的原文。对于朴素英文常被检测器误读的作者来说,这往往是最有用的设置。我们的非母语英文作者案例研究对这种情况做了更详细的分析。

如果你的稿件是其他语言,请等待原生支持,不要先翻译成英文再翻译回来。来回翻译往往会抹平你想保留的语体。无论用哪种语言写作,提交 AI 辅助完成的稿件前,都请先查看所在机构或目标期刊的 AI 政策。

常见问题

现在可以用 Academic Humanizer 处理韩语文本吗?

还不行。目前只支持英文输入。韩语是即将推出的五种语言之一,另外四种是西班牙语、中文、日语和法语。

新的输入语言什么时候上线?

我们尚未公布日期。每种语言都会在通过上述检查后上线。

网站有我的语言版本吗?

网站和博客提供英语、韩语、日语、简体中文、西班牙语、法语、德语、印地语、意大利语和葡萄牙语版本。

为什么 AI 检测器对非英语文本不太可靠?

大多数检测器主要基于英语开发和测试。不同的分词方式和写作惯例会改变它们依赖的信号。背景知识请参阅AI 检测器的工作原理。

迈向更多语言

Academic Humanizer 的存在,是为了让研究者自己的想法不被误标为机器文本。这个问题不止于英语,Humanizer 也不会止步于英语。目前,如果你的稿件是英文,今天就可以运行,逐句查看检测器标记了哪些内容。

保留你的想法,去除 AI 痕迹

粘贴草稿,查看哪些句子被 AI 检测器标记,然后只用 Humanizer 改写这些句子。

免费试用 Humanizer

继续阅读