AI 탐지기 정확도, 실제로는? RAID 벤치마크가 보여 준 것

AI 탐지기는 얼마나 정확할까요? 많은 탐지기가 99% 이상을 내세웁니다. ACL 2024에서 발표된 RAID 벤치마크는 이런 주장을 공통의 어려운 데이터셋으로 검증하기 위해 만들어졌습니다. 결론은 이렇습니다. 탐지기는 매우 높은 정확도에 도달할 수 있지만 좁은 조건에서만, 그것도 오탐을 많이 허용할 때만 그런 경우가 많고, 텍스트 생성 방식을 바꾸거나 살짝 손보는 것만으로도 실패 직전까지 몰릴 수 있습니다.

RAID에 무엇이 들어 있는지, 탐지기를 어떻게 측정하는지, 그리고 왜 그 수치가 업체 홈페이지의 숫자와 거의 맞지 않는지 살펴봅니다.

RAID에 들어 있는 것

RAID는 의도적으로 큽니다. 이전 탐지 데이터셋은 생성 모델 한두 개, 디코딩 설정 하나, 공격 없음 같은 조건이 많아 탐지기에 유리했습니다. RAID는 이 모든 요소를 한꺼번에 바꿉니다.

데이터의 10%는 레이블 없이 비공개 테스트셋으로 남겨 두었고, 저자들은 공개 리더보드를 운영해 새 탐지기를 같은 조건에서 비교할 수 있게 합니다. 별도의 RAID-extra 세트에는 Python 코드, 체코어 뉴스, 독일어 뉴스 생성 텍스트 230만 개가 추가로 들어 있습니다.

논문 초록이 여덟 도메인 중 하나이므로, RAID는 뉴스나 웹 텍스트만으로 만든 벤치마크보다 학술 글을 쓰는 사람에게 더 관련이 깊습니다.

오탐률이 모든 것을 바꾸는 이유

탐지기는 점수를 냅니다. 이를 'AI'나 '사람'으로 바꾸려면 누군가 임계값을 정해야 합니다. RAID 저자들은 이 선택이 대부분의 마케팅이 인정하는 것보다 훨씬 중요하다는 것을 보여 줍니다.

먼저 0.5 같은 단순한 임계값을 쓰면 어떻게 되는지 확인했습니다. 여러 오픈소스 탐지기, 특히 지표 기반 탐지기들은 저자들이 '위험할 만큼 높다'고 표현한 오탐률을 보였습니다. 상용 탐지기는 보정이 더 잘 되어 있어, 테스트한 일반적인 임계값에서 오탐률 1.7%를 넘는 것이 없었습니다.

다음으로 정확도를 오탐률에 대해 그려 보았습니다. 탐지기는 화제가 된 보고서에 인용되는 매우 높은 정확도에 도달할 수 있었지만, 그만큼 높은 오탐률을 허용할 때만 그랬습니다. 허용 오탐률을 낮추자 대부분 급격히 떨어졌고, 1% 미만에서 작동할 수 있는 탐지기는 거의 없었습니다. 일부는 테스트한 가장 낮은 오탐률에 아예 도달하지 못하고 16.9%(ZeroGPT), 0.88%(Fast-DetectGPT), 0.62%(Originality)에서 멈췄습니다. Binoculars는 낮은 오탐률에서도 잘 버틴 뚜렷한 예외였습니다.

• AI 텍스트 탐지율
• 사람 텍스트 오탐률

RAID가 측정하는 상충 관계를 보여 주는 예시이며, 논문의 데이터가 아닙니다.

논문의 나머지 부분에서는 모든 탐지기를 RAID의 사람 텍스트 기준 오탐률 5%로 보정하고, 그 지점의 정확도를 보고합니다. 도구를 공정하게 비교하는 유일한 방법이며, RAID 수치가 업체 주장보다 낮아 보이는 이유이기도 합니다. 업체 주장은 오탐률을 아예 밝히지 않는 경우가 많습니다.

샘플링, 반복 페널티, 처음 보는 모델

RAID의 가장 놀라운 결과 중 일부는 공격 없이, 평범한 생성 설정만으로 나왔습니다.

반복 페널티. 모델이 같은 토큰을 다시 쓰지 않도록 하는 반복 페널티를 추가하자, 탐지기, 생성 모델, 도메인 전반에서 정확도가 최대 32포인트 떨어졌습니다. 저자들은 페널티가 출력을 더 사람처럼 들리게 하는데도 이전의 탐지기 견고성 연구 중 이를 다룬 것이 없었다고 지적합니다.

디코딩 전략. 모든 탐지기 유형이 랜덤 샘플링보다 그리디 디코딩에서 훨씬 좋은 성적을 냈습니다.

처음 보는 생성 모델. GPT-2 출력으로 학습한 RoBERTa 탐지기는 다섯 도메인에서 GPT-2 텍스트에 대해 95%를 넘었지만, 같은 도메인의 다른 모델 텍스트에서는 60%를 넘는 경우가 드물었습니다. 탐지기는 학습한 모델과 도메인에서 가장 잘 작동하며, 저자들은 상용 도구에서도 비슷한 패턴을 관찰했습니다.

논문은 이를 담백하게 요약합니다. 생성 모델이나 디코딩 전략을 바꾸거나 반복 페널티를 추가하는 것만으로도, 다른 조건에서는 훌륭해 보이던 탐지기에 95% 이상의 오류율이 생겼습니다.

적대적 공격이 탐지기마다 다르게 작용하는 방식

RAID의 공격은 의도적으로 단순한 블랙박스 편집입니다. 그 효과가 탐지기마다 크게 달랐다는 점이 이 논문의 유용한 발견 중 하나입니다.

• Originality, 공격 없음85.0%
• Originality, 호모글리프 공격9.3%
• Binoculars, 공격 없음79.6%
• Binoculars, 유의어 치환43.5%
• GPTZero, 공격 없음66.5%
• GPTZero, 호모글리프 공격66.2%

출처: Dugan et al. 2024, Table 6.

• 단어 일부를 유의어로 바꾸자 Binoculars와 다른 지표 기반 방법의 정확도가 최대 36.1포인트 떨어졌습니다.
• 모양은 같지만 코드 포인트가 다른 문자인 호모글리프는 거의 모든 탐지기에 타격을 주었습니다. GPTZero는 0.3포인트만 잃었지만, 다른 다섯 탐지기는 평균 40.6포인트 떨어졌습니다.
• RADAR처럼 적대적으로 학습된 탐지기는 훨씬 잘 버텼습니다.
• 오히려 도움이 된 공격도 있었습니다. GPT-2 RoBERTa 탐지기는 T5 패러프레이즈 후 16.2포인트 개선되었는데, 패러프레이저가 텍스트를 탐지기의 학습 데이터에 더 가깝게 옮겼기 때문으로 보입니다.

이 모든 결과 뒤에 있는 패턴은 Weber-Wulff 등의 14개 도구 테스트 같은 소규모 연구에서 본 것과 같습니다. 탐지기는 표면적인 통계를 읽고, 탐지기마다 읽는 통계가 다릅니다. 의미를 건드리지 않는 변화도 텍스트를 탐지기의 기준선 너머로 옮길 수 있습니다.

벤치마크 수치가 업체 주장과 다른 이유

제품 페이지에 99%라고 적혀 있다면, 대개 탐지기가 학습한 모델, 도메인, 설정에서 뽑은 업체 자체 테스트셋에서, 독자에게 알리지 않은 임계값으로 얻은 99%를 뜻합니다. RAID는 이 모든 점에서 다릅니다.

• 오탐률을 고정하고 공개하므로, 사람 텍스트를 잘못 표시하는 대가로 정확도를 살 수 없습니다.
• 탐지기가 한 번도 보지 못했을 수 있는 모델과 도메인을 포함합니다.
• 실제 사용자와 도구가 일상적으로 바꾸는 디코딩 설정을 다양하게 적용합니다.
• 오타, 서식 변경, 표현 바꾸기처럼 실제 텍스트가 어차피 겪는 값싼 편집을 적용합니다.

어느 쪽 숫자도 가짜는 아닙니다. 서로 다른 질문에 답할 뿐입니다. 업체 수치는 도구가 설계된 조건에서 얼마나 잘 작동하는지 알려 줍니다. RAID는 조건이 바뀔 때 어떻게 동작하는지 알려 주며, 이는 실제 원고가 겪는 상황에 더 가깝습니다. 이 차이는 같은 문단을 두고 AI 탐지기 결과가 서로 다른 이유의 상당 부분도 설명해 줍니다.

저자들은 윤리 성명에서 분명한 선을 긋습니다. 오탐 문제가 해결되지 않은 만큼, 더 나은 평가 기준이 널리 채택되기 전까지는 징계나 처벌 목적으로 탐지기를 쓰는 데 반대한다는 것입니다.

학술 글을 쓰는 사람에게 주는 의미

AI의 도움을 받아 글을 쓴다면, RAID는 어떤 탐지기 점수든 보이지 않는 설정에 좌우된다는 점을 일깨워 줍니다. 결과를 하나의 측정값으로 받아들이고, 소속 기관이나 학술지 정책이 AI 지원에 대해 무엇을 말하는지 확인하고, 초안 작성 과정을 기록으로 남기세요. 점수가 불리하게 쓰인다면, 이런 벤치마크 근거는 사람의 검토를 요청할 정당한 근거가 됩니다. 실질적인 절차는 AI로 잘못 판정받았을 때 대처법에서 다룹니다. RAID가 시험하지 않은 Turnitin에 대해서는 턴잇인은 챗GPT·Claude·Gemini를 잡을까?에서 같은 질문을 살펴봅니다.

Academic Humanizer의 역할

탐지기는 서로 의견이 다르고 결과도 흔들리기 때문에, Academic Humanizer는 탐지기 하나가 아니라 여러 탐지기로 결과를 확인합니다. Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling, Originality.ai로 검증하며, Humanizer는 탐지기가 표시한 문장만 고쳐 쓰고 용어, 숫자, 인용을 유지합니다. AI 탐지 리포트는 아직 표시된 문장까지 포함해 초안과 결과를 같은 기준으로 나란히 보여 주므로, 제출 전에 무엇을 고칠지 직접 판단할 수 있습니다.