AI 탐지기는 편향됐을까? 비원어민 영어 글의 오탐

AI 탐지기는 편향되어 있을까요? 가장 잘 알려진 테스트에서는 그렇습니다. 탐지기는 영어 원어민의 글보다 비원어민의 글에서 훨씬 많은 오탐을 냈습니다. 이것이 Stanford의 Weixin Liang, James Zou와 동료들이 2023년 학술지 Patterns에 발표한 연구 "GPT detectors are biased against non-native English writers"의 핵심 결과입니다. 널리 쓰이는 탐지기 7종은 실제 학생들이 쓴 TOEFL 에세이의 평균 61%를 AI 생성으로 판정한 반면, 미국 중학교 2학년생의 에세이는 거의 완벽하게 처리했습니다.

해외 연구자와 유학생에게 이 논문은, 탐지기 판정이 AI 사용 여부가 아니라 영어를 쓰는 방식을 반영할 수 있다는 가장 분명한 근거입니다. 연구가 어떻게 진행되었는지, 편향이 왜 생기는지, 이후 무엇이 달라졌는지 살펴봅니다.

Liang 등의 연구 설계

설계가 단순하다는 점이 설득력을 높인 이유 중 하나입니다. 저자들은 전적으로 사람이 쓴 에세이 두 묶음을 모았습니다.

• 중국의 교육 포럼에서 수집한 비원어민 영어 화자의 TOEFL 에세이 91편.
• Hewlett Foundation의 Automated Student Assessment Prize 데이터셋에서 가져온 미국 중학교 2학년생 에세이 88편.

모든 에세이를 당시 널리 쓰이던 탐지기 7종, 즉 Originality.AI, Quill.org, Sapling, OpenAI 분류기, Crossplag, GPTZero, ZeroGPT에 돌렸습니다. 모든 에세이가 사람이 쓴 것이므로, AI 판정은 모두 오탐입니다.

결과: TOEFL 에세이의 61%가 표시됨

탐지기들은 미국 학생 에세이에서는 거의 완벽했습니다. TOEFL 에세이에서는 7개 도구의 평균 오탐률이 61.22%였습니다. 더 나쁜 점은 오류가 무작위로 흩어져 있지 않았다는 것입니다.

91편 중 18편은 모든 탐지기에서 AI 생성으로 판정되었습니다. 그리고 91편 중 89편은 적어도 한 탐지기에서 표시되었습니다. 교사나 편집자가 비원어민의 에세이를 마침 손에 있는 아무 도구에나 돌린다면, 이 수치로 볼 때 적어도 한 번은 잘못된 경보가 울릴 가능성이 높습니다.

원인: 퍼플렉시티와 제한된 어휘

많은 탐지기는 언어 모델이 텍스트에 얼마나 놀라는지를 재는 퍼플렉시티에 의존합니다. 모델은 확률 높은 단어를 고르기 때문에 기계 출력은 퍼플렉시티가 낮은 경향이 있습니다. 문제는 사람의 글도 전혀 문제없는 이유로 퍼플렉시티가 낮을 수 있다는 점입니다.

제2언어로 글을 쓰는 사람은 더 작고 안전한 어휘와 더 흔한 문장 구조를 쓰는 경우가 많습니다. 생각에 결함이 있어서가 아니라, 나중에 배운 언어로 글을 쓸 때 대부분의 사람이 그렇게 씁니다. 하지만 언어 모델에게 그런 선택은 예측 가능하고, 예측 가능한 글은 기계가 쓴 것처럼 보입니다. 저자들이 퍼플렉시티를 직접 측정한 결과, TOEFL 에세이의 퍼플렉시티가 미국 학생 에세이보다 유의하게 낮았습니다.

• 기계 생성 텍스트
• 비원어민이 쓴 글

메커니즘을 보여 주는 예시이며, 논문의 데이터가 아닙니다

어휘 풍부화 실험

어휘가 정말 편향을 일으키는지 검증하기 위해, 저자들은 ChatGPT를 편집자로 삼아 양방향으로 실험했습니다.

• 비원어민 에세이 풍부화. ChatGPT에게 TOEFL 에세이의 단어 선택을 원어민처럼 들리도록 개선해 달라고 했습니다. 평균 오탐률은 61.22%에서 11.77%로 떨어졌고, 7종 모두에서 표시된 에세이는 91편 중 1편뿐이었습니다.
• 원어민 에세이 단순화. ChatGPT에게 미국 학생 에세이의 단어 선택을 비원어민의 글처럼 단순하게 바꿔 달라고 했습니다. 오분류율은 평균 5.19%에서 56.65%로 올랐습니다.

• TOEFL 에세이, 원본61.22%
• TOEFL 에세이, 단어 선택 풍부화11.77%
• 미국 중2 에세이, 원본5.19%
• 미국 중2 에세이, 단어 선택 단순화56.65%

출처: Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

각 에세이의 내용은 그대로였습니다. 어휘만 바뀌었는데도 판정은 양방향으로 약 50%포인트씩 흔들렸습니다. 저자들은 반대 측면도 보였습니다. ChatGPT에게 자신이 쓴 대학 입학 에세이와 과학 논문 초록을 더 문학적인 언어로 다시 쓰게 하자 탐지율이 크게 떨어졌습니다. 초록의 경우 탐지율이 최대 68%에서 최대 28%로 떨어졌습니다. 저자들의 결론은 현재 형태의 탐지기가 언어 표현이 제한된 작성자에게 불이익을 주면서도, 작정한 사용자는 쉽게 피해 갈 수 있다는 것이었습니다.

해외 연구자에게 주는 의미

과학 영어는 이미 모두를 정형화된 표현 쪽으로 밀어붙입니다. 여기에 제2언어로 쓰는 상황이 더해지면, 많은 해외 연구자의 글이 탐지기가 기계와 연관 짓는 영역에 그대로 들어갑니다. 몇 가지 실질적인 시사점이 있으며, AI 탐지기 안 걸리는 법에서 이를 수정 단계로 정리했습니다.

• 표시는 부정행위의 증거가 아닙니다. 저자들은 평가나 교육 상황에서 탐지기를 쓰지 말라고 명시적으로 경고했습니다. 표시되었다면 AI로 잘못 표시되었을 때 대처법에서 대응 방법을 확인하세요.
• 작성 과정을 보이게 남기세요. 초안, 메모, 버전 기록은 논란이 된 점수에 대한 가장 강력한 답입니다. 초안 기록이 학업 진실성을 뒷받침하는 방법을 참고하세요.
• 격식 있는 글이 기계가 쓴 글은 아닙니다. 같은 메커니즘으로 원어민이 쓴 글도 격식 있는 글이 AI가 쓴 것처럼 보이는 이유가 설명됩니다.

연구의 한계와 이후 연구

이 연구에는 분명한 한계가 있습니다. 표본이 91편과 88편으로 크지 않고, 연구 논문이 아닌 학생 에세이입니다. 탐지기는 2023년 초에 시험되었고, 이후 모든 업체가 모델을 업데이트했습니다. OpenAI는 그해 말 분류기를 철회했습니다. 따라서 정확한 비율은 오늘날의 버전이 아니라 그 시점의 도구를 설명합니다.

이후 연구는 엇갈린 그림을 보여 줍니다. ICML 2024에서 발표된 제로샷 탐지기 Binoculars의 저자들은 비원어민 에세이를 원본과 문법 교정본으로 시험해 두 경우 모두 99.67% 정확도를 보고했고, 일부 방법은 이 효과에 덜 민감할 수 있음을 시사했습니다. 반면 Fast-DetectGPT 저자들은 비원어민 글에서의 높은 오탐률을 자신들 유형의 탐지기가 가진 위험으로 지목했습니다. 이 방법들은 Fast-DetectGPT와 Binoculars 해설에서 비교합니다. 근본적인 긴장은 사라지지 않았습니다. 의외의 단어 선택에 점수를 주는 탐지기라면 평이하고 신중한 영어를 판정하기 어려울 수밖에 없습니다.

Academic Humanizer의 접근 방식

Academic Humanizer는 자신의 아이디어가 기계 텍스트로 잘못 분류되는 연구자, 그중에서도 영어를 제2언어로 쓰는 많은 연구자를 위해 만들어졌습니다. 초안을 문장 단위로 검사해 탐지기가 표시한 문장만 다시 쓰고, 주장, 수치, 인용, 분야 용어는 그대로 지킵니다. 이미 사람의 글로 읽히는 문장은 쓴 그대로 남습니다. AI Detection Report가 각 변경을 나란히 보여 주므로 최종 표현은 직접 승인하며, 이와 함께 학술지나 소속 기관의 AI 정책을 확인해 두는 것이 좋습니다.