非ネイティブの英語はAI判定される？実際の文章でテスト

英語を母語としない人の文章は、AI検出ツールにAIと判定されるのでしょうか。発表された研究では判定されることが多いとされていますが、実際の研究者が自分で書いた考察の段落を使った私たちのテストでは、判定されませんでした。定型的な言い回し、限られた接続語、教科書どおりの文型は、まさに検出ツールが不利に扱うと疑われている特徴です。そこで、材料科学分野の非ネイティブの研究者が手で書いた考察の段落、つまりこの心配の対象になるような文章をテストしました。

結果は拍子抜けするほど平穏でした。そして、それこそが重要な点です。五つの検出モデルのうち四つが人間の文章と判定し、判定された文はなく、Humanizer v2は何も変更せず、料金もかかりませんでした。

このテキストが危うく見えた理由

検出ツールの目線で読んでみましょう。文頭には「In this study, we found that」「It is considered that」「Therefore, it is important to」「These results suggest that」といった決まり文句が並びます。語彙は狭く、繰り返しが目立ちます。文法には、英語を第二言語として学んだ人の跡が見られます。「The reason of this improvement」「the tensile strength was decreased」「for obtaining the best mechanical properties」などです。

この心配の裏付けとなる研究は実在します。スタンフォード大学のLiangらは、非ネイティブ話者がTOEFL用に書いたエッセイを広く使われている七つのGPT検出ツールにかけ、平均偽陽性率が61.22%だったことを明らかにしました。それらのエッセイの97.80%が、少なくとも一つの検出ツールでAI生成と判定されています。論文の要約はGPT検出ツールは非ネイティブの書き手に不利にまとめています。

ですから、少なくともいくつかの文は判定されると予想するのが妥当だったはずです。しかし、実際にはそうなりませんでした。

検出ツールの判定

下書きに対するレポートの判定はHuman-writtenでした。五つの検出モデルのうち四つが人間、一つがAIと判定しました。文単位では9文すべてが人間の文として読まれ、判定された文も判定保留の文もありませんでした。

In this study, we found that the addition of 2 wt% graphene oxide improved the tensile strength of the epoxy composite by 27% compared to the neat epoxy. This result is consistent with the previous studies which reported similar improvement in the range of 20-35%. The reason of this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength was decreased. It is considered that the agglomeration of graphene oxide sheets occurred at higher content, and these agglomerates acted as stress concentration points. This tendency was also confirmed by the SEM images, which showed the clusters of sheets on the fracture surface. Therefore, it is important to optimize the filler content for obtaining the best mechanical properties. In addition, the glass transition temperature was slightly increased from 142 to 147 degrees, which means the mobility of polymer chains was restricted by the graphene oxide. These results suggest that the graphene oxide/epoxy composite can be a promising material for the lightweight structural applications.

テスト実行時の実際のスキャン結果。9文すべてが人間の文として読まれました。

• 元の段落1/5
• Humanizer v2の出力（変更なし）1/5

出典：Humanizer v2の本番実行結果。同じテキストなので判定も同じです。

Humanizer v2が行ったこと：意図的に何もしない

Humanizer v2が書き直すのは、検出ツールに判定された文だけです。判定された文がゼロなら書き直すものはなく、出力は入力と一字一句同じになります。

1. AIシグナルのスキャン9文をスキャンし、判定はゼロ。9文すべてが人間の文として読まれました。
2. 判定された文の書き直し書き直す対象がないため、変更した文はゼロ。
3. AI検出ツールで再チェック同じテキストなので結果も同じ。Human-writtenで、五つのうち四つのモデルが人間と判定。
4. 結果の保存変更ゼロの実行は0クレジット。変更があれば1,235文字で3クレジットでした。

非ネイティブの書き手にとって最も重要なのは、この振る舞いです。すべてを言い換えるツールなら、この著者の文を他人の文に置き換え、検出ツールが反応しかねない新しい言い回しを持ち込み、しかもその分の料金を請求していたでしょう。人間の文章に手を付けないのは、機能の欠落ではありません。それが設計です。

この結果を慎重に読む

テスト用の段落一つで、発表済みの研究が覆るわけではありません。「検出ツールはもう非ネイティブの文章でも問題ない」と読むべきではないのです。注意点が三つあります。

• 判定の食い違いは現実にあった。五つのモデルのうち一つはAIと判定しました。もしそのモデルと同じように振る舞うツール一つだけで確認していたら、人間が書いた文章にAIの判定が出るのを目にしたはずです。これはまさにLiangらが記録したパターンであり、私たちが一つのモデルを信じるのではなく複数のモデルを比較する理由でもあります。AI検出ツールの判定が食い違う理由をご覧ください。
• 考察セクションには具体的な内容がある。この段落には具体的な値（2 wt%、27%、20-35%、3 wt%、142から147度）や、名前のある根拠（SEM画像、破断面）が詰まっています。特定の結果に結びついた文章は、TOEFLの研究で使われたような短く一般的なエッセイとは読まれ方が違う可能性があります。
• あなたのテキストはこのテキストではない。より一般的な枠組みの段落なら判定されることもありえます。レポートは一文ずつ結果を示すので、単一のスコアよりも役に立ちます。

文法の修正は別の作業

人間の文章として通ることと、ジャーナルに出せる状態であることは同じではありません。この段落には校正者なら指摘する誤りがまだ残っていますが、それを直すのはヒューマナイザーの役目ではありません。ヒューマナイザーの仕事は検出ツールに判定された文を変えることであり、すでに人間の文として読まれている文には、誤りも含めて手を付けません。

修正前

The reason of this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength was decreased. In addition, the glass transition temperature was slightly increased from 142 to 147 degrees, which means the mobility of polymer chains was restricted by the graphene oxide.

修正後

The reason for this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength decreased. In addition, the glass transition temperature was slightly increased from 142 to 147 °C, which means the mobility of polymer chains was restricted by the graphene oxide.

最後の修正は、値が摂氏であることを前提にしています。単位を知っているのは著者だけで、元の文には書かれていません。ほかにも、「the previous studies which reported」（「the」を削る）、「for the lightweight structural applications」（「the」を削る）、そして多くのジャーナルなら「We attribute this to」に直すであろう「It is considered that」などが修正候補です。

実用上の注意を一つ。この段落をAIの文法チェックや校正ツールにかけると、修正版は元の文章とは違う読まれ方を検出ツールからされる可能性があります。その後で再チェックしてください。レポートにはそのような場合の判定としてHuman-written & AI-refinedがあり、現在の状態を確認できます。どのツールがどの役割を担うかは、ヒューマナイザー、言い換えツール、文法チェッカーの比較で説明しています。

非ネイティブの英語研究者にとっての意味

形式的で定型的な文体で自分の下書きを書いているなら、誤判定のリスクは現実にありますが、確実ではありません。正しい対応は、先回りして書き直すことではなく、確認することです。人間の文章を「もっと人間らしく」見せようと書き直すと、かえって状況が悪くなることがあります。

Academic Humanizerはこの点を踏まえて作られています。原稿をスキャンし、検出ツールに判定された文だけを書き直し、あなた自身の文は手を付けずに返し、何も変わらなければ料金はかかりません。すでに判定されてしまった場合は、AIと誤判定されたときの対処法のガイドを次にお読みください。