GPTZero 정확도는? GPTZero·턴잇인·ZeroGPT 비교

GPTZero는 정확할까요? 독립 테스트에 따르면 자체 수치가 시사하는 것보다는 덜 정확하며, ZeroGPT와 Turnitin도 마찬가지입니다. 세 도구가 문단 하나에 서로 다른 판정을 내리는 더 큰 이유는 같은 것을 측정하지 않기 때문입니다. Turnitin은 산문 중 일부의 비율을, GPTZero는 문서 전체에 대한 확률을 보고하고, Originality.ai는 AI를 어디까지 허용할지 사용자가 정하게 합니다. 게다가 도구마다 선을 긋는 위치, 최소 길이, 모델의 학습 데이터, 업데이트 일정이 제각각입니다.

그렇다고 어느 한 도구가 고장 났다는 증거는 아닙니다. 확률 기반 분류기 여러 개가 정말로 애매한 텍스트를 두고 각자 판단할 때 일어나는 일이며, 격식 있는 학술 문장은 애매한 경우가 많습니다.

같은 숫자를 보고하지 않습니다

점수가 왜 다른지 가장 빨리 알 수 있는 방법은 각 업체가 대표 수치를 무엇이라고 설명하는지 읽어 보는 것입니다. 아래 표는 업체의 공개 페이지만 사용했으며, 오류 수치는 저희가 아니라 업체의 주장입니다.

이 중 둘을 나란히 놓아 보세요. GPTZero는 "4% AI"가 문서의 4%에 AI가 들어 있다는 뜻이 아니라, 문서 전체가 AI로 작성되었을 확률이라고 설명합니다. Turnitin의 40%는 산문 중 얼마만큼이 AI가 생성한 것처럼 보이는지에 대한 주장입니다. 둘 다 퍼센트이지만 서로 다른 질문에 답합니다. Sapling도 자사의 강조 표시에 대해 같은 경고를 합니다. 강조 표시는 전체 점수와 다를 수 있다는 것입니다.

임계값은 정책적 선택입니다

모든 탐지기는 연속적인 점수를 레이블로 바꾸며, 어디서 자를지는 설계상의 결정입니다. 사람 텍스트와 AI 텍스트의 점수 분포는 겹칩니다. 임계값을 오른쪽으로 옮기면 사람을 덜 표시하지만 AI를 더 놓치고, 왼쪽으로 옮기면 반대가 됩니다.

• 사람이 쓴 텍스트
• AI가 생성한 텍스트

예시이며, 특정 탐지기의 데이터가 아닙니다

업체들은 어느 쪽으로 기우는지 공개적으로 밝힙니다. Turnitin은 1%~19% 사이 점수를 숨기고, 50%로 평가된 문서에 그보다 많은 AI가 들어 있을 수 있음을 감수합니다. GPTZero는 탐지기가 오탐보다 미탐 쪽으로 기울도록 출력을 대응시킨다고 설명하며, 확신이 없을 때는 대체로 '사람' 쪽으로 기운다고 말합니다. Originality.ai는 이제 AI 허용치 설정을 통해 결정의 일부를 사용자에게 넘기고, Copyleaks는 민감도 조정 기능을 제공합니다. 두 도구가 근본 신호에는 동의하더라도 레이블에서는 갈릴 수 있습니다.

길이와 구간 분할이 판정을 바꿉니다

탐지기는 측정할 만큼 충분한 텍스트가 필요합니다. Turnitin은 산문 300단어 미만은 평가하지 않으며, 짧은 문서는 거의 한 덩어리로 평가된다고 말합니다. Sapling은 약 50단어를 넘으면 탐지기가 훨씬 정확해진다고 합니다. GPTZero는 예측이 텍스트 대부분에 걸친 패턴에 좌우될 수 있어서, 강조된 문장 몇 개를 고쳐도 점수가 기대만큼 움직이지 않을 수 있다고 설명합니다.

이것이 문장 단위 AI 탐지에서 다루는 문장 대 문서의 문제입니다. 겹치는 구간으로 점수를 매기는 도구, 문서 전체를 평가하는 도구, 문장마다 평가하는 도구는 같은 문단을 다르게 읽을 수 있습니다.

We recruited 214 first-year nursing students across two campuses in spring 2024. The findings highlight the importance of resilience in shaping academic outcomes. Resilience scores rose most among students who had previously failed a clinical placement. These results contribute to a growing body of literature on student wellbeing.

설명을 위한 예시입니다. 일반적인 틀의 문장은 AI로, 데이터를 담은 구체적인 문장은 사람으로 평가되는 경향이 있습니다. 문서 단위 도구는 이를 평균 내어 판정 하나로 만들 수 있습니다.

학습 데이터가 다르면 사각지대도 다릅니다

분류기마다 사람 텍스트와 기계 텍스트를 섞은 고유한 데이터, 그리고 특정 생성 모델 집합으로 학습합니다. Turnitin은 영어 탐지기가 잡아내도록 학습된 모델 목록을 공개합니다. Sapling의 변경 기록에서도 시간이 지나며 새 모델 계열을 추가하는 같은 패턴이 보입니다. 한 업체는 학습했고 다른 업체는 학습하지 않은 모델이 생성하거나 다듬은 문단은 같은 방식으로 평가되지 않습니다. 이 범위는 턴잇인은 챗GPT·Claude·Gemini를 잡을까?에서 살펴봅니다.

독립 벤치마크는 이것이 얼마나 중요한지 보여 줍니다. RAID는 Dugan 등이 ACL 2024에서 발표한 공통 벤치마크로, 모델 11개가 도메인 8개에서 생성한 600만 개 이상의 텍스트로, 적대적 공격 11종과 디코딩 전략 4가지를 적용해 탐지기 12종을 시험했습니다. 저자들은 탐지기가 공격, 샘플링 전략 변경, 반복 페널티, 처음 보는 생성 모델에 쉽게 속는다는 것을 발견했습니다.

International Journal for Educational Integrity에 실린 이전 연구인 Weber-Wulff 등(2023)은 도구 14개를 시험했고, 채점 기준에서 80% 정확도에 도달한 도구가 없었으며 텍스트를 사람 글로 분류하는 경향이 있음을 발견했습니다. 이런 결과가 98%, 99%라는 업체 수치와 공존하는 것은 테스트셋, 텍스트 유형, 정확도의 정의가 다르기 때문입니다.

업데이트 주기가 기준을 옮깁니다

탐지기는 자주 바뀝니다. Turnitin은 2025년 10월과 2026년 2월에 모델 업데이트를 내놓았고 2026년 7월에 구조를 통합했습니다. 오래된 리포트는 다시 계산되지 않지만, 다시 제출한 파일은 다시 계산됩니다. Sapling의 변경 기록에는 2026년 9월 업데이트가 남아 있습니다. Originality.ai는 같은 달 기존 모델들을 종료했습니다. 봄에 본 점수는 가을에 편집자가 쓰는 것과는 다른 측정 도구로 잰 값입니다.

GPTZero는 정확할까? ZeroGPT는?

두 업체 모두 높은 수치를 내세웁니다. GPTZero는 오탐률을 1% 이하로 유지한다고 하고, ZeroGPT는 탐지 정확도 98.4%를 주장합니다. 독립 테스트에서는 더 낮고 고르지 않은 결과가 나왔습니다. 다만 아래 두 테스트 모두 현재 버전보다 오래된 버전을 대상으로 했습니다.

• Weber-Wulff 연구팀의 2023년 연구에서 GPTZero는 가장 엄격한 채점 기준으로 테스트 문서 54건 중 54%를 올바르게 분류했고, ZeroGPT는 59%, Turnitin은 76%였습니다. 부당한 의심에서도 GPTZero가 두드러졌습니다. 사람이 쓴 문서 18건 중 절반에서 그 결과가 부당한 의심으로 이어질 만했습니다. ZeroGPT는 한 건도 없었습니다.
• RAID 벤치마크(2024)에서 GPTZero는 오탐률 5% 기준 정확도 66.5%를 기록했고, 다른 탐지기 대부분에 타격을 준 유사 문자 공격에도 거의 흔들리지 않았습니다. ZeroGPT는 RAID의 임계값 테스트에서 오탐률을 16.9% 아래로 낮출 수 없었습니다.

그렇다면 GPTZero는 Turnitin만큼 정확할까요? 여기서 둘을 함께 시험한 유일한 연구는 2023년 초 Turnitin이 앞선다고 봤고, 두 도구 모두 그 뒤로 업데이트되었습니다. 어느 쪽 점수든 판정이 아니라 측정값 하나로 받아들이세요.

그래서 가장 정확한 AI 탐지기는?

텍스트 유형, 길이, 언어, 생성 모델을 가리지 않고 통하는 단일한 답은 없으며, 답을 하나 내놓는 사람은 특정 테스트셋을 인용하고 있는 것입니다. 업체의 정확도 주장은 자체 평가에서 나옵니다. 독립 벤치마크는 더 낮고 들쭉날쭉한 수치를 보고합니다. 더 유용한 질문은 내 글을 평가하는 사람들이 실제로 어떤 탐지기를 쓰는지, 그리고 내 텍스트가 여러 도구에서 어떻게 나오는지입니다.

그래서 탐지기 하나가 아니라 여러 개로 확인해야 합니다.

• 일치는 정보가 됩니다. 다섯 도구가 사람으로 읽고 하나만 표시했다면 그 표시는 아마 잡음입니다. 여섯 도구 모두 같은 일반적인 전환 문장을 표시했다면 내 말로 고쳐 쓸 가치가 있습니다.
• 불일치는 경계선 텍스트를 가리킵니다. 도구마다 판정이 뒤집히는 문장은 대개 정형화된 문장입니다. 상투적인 도입부, 요약 문장, 평가성 상투어 같은 것입니다. 격식 있는 글이 AI가 쓴 글처럼 보이는 이유를 참고하세요.
• 최종 판정을 내리는 도구는 없습니다. Turnitin, GPTZero, Sapling 모두 자사 출력이 사람에 대한 결정의 유일한 근거가 되어서는 안 된다고 말합니다.

Academic Humanizer로 여러 탐지기 확인하기

Academic Humanizer는 위의 탐지기 여섯 개, 곧 Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling, Originality.ai로 검증합니다. Humanizer는 원고에서 탐지기가 표시하는 문장을 찾아 그 문장만 고쳐 쓰고, 이미 사람 글로 읽히는 문장은 쓰신 그대로 둡니다. 내장된 AI 탐지 리포트는 사람 글로 읽히는 문장 비율을 수정 전후로 비교합니다. 어떤 탐지기가 앞으로의 텍스트 버전을 어떻게 평가할지 보장할 수는 없습니다. 그래서 리포트는 문장 단위로 근거를 보여 주고 최종 확인을 여러분에게 맡깁니다.