AI 탐지기 정확도는? 14개 도구 테스트 연구 결과

AI 탐지기는 정확할까요? 지금까지 공개된 테스트 중 가장 꼼꼼하게 기록된 테스트 하나에 따르면 그다지 정확하지 않습니다. 2023년, 학술 진실성 연구자 여덟 명이 직접 원문을 쓰고, ChatGPT로 다른 텍스트를 생성하고, 그중 일부를 편집하거나 패러프레이즈한 뒤, 문서 54개를 모두 탐지기 14종에 제출했습니다. 80% 정확도에 도달한 도구는 없었습니다. International Journal for Educational Integrity에 실린 결론은 직설적이었습니다. 이 도구들은 "neither accurate nor reliable"(정확하지도 신뢰할 수도 없다)하다는 것입니다.

이 글에서는 연구가 어떻게 설계되었는지, 수치가 실제로 무엇을 보여 주는지, 그리고 연구자에게 가장 유용한 교훈이 "탐지기는 쓸모없다"보다 왜 더 좁고 실용적인지 설명합니다. 탐지기 점수는 신호일 뿐, 증거가 아닙니다.

연구 설계

이 논문의 강점은 테스트셋에 있습니다. 연구자 아홉 명(저자 여덟 명과 협력자 한 명)이 각각 문서 여섯 개를 준비했으므로 모든 사례의 정답이 알려져 있었습니다. 약 10,000자 분량의 사람 텍스트는 토목공학, 컴퓨터과학, 경제학, 역사학, 언어학, 문학 등의 분야에서 대략 학부 수준으로 새로 작성되었습니다. 어느 것도 인터넷에 올라간 적이 없어서, 모델이 학습 중에 이를 보았을 가능성이 배제됩니다.

탐지기는 Check For AI, Compilatio, Content at Scale, Crossplag, DetectGPT, Go Winston, GPT Zero, GPT-2 Output Detector Demo, OpenAI Text Classifier, PlagiarismCheck, Turnitin, Writeful GPT Detector, Writer, ZeroGPT였습니다. 열두 개는 무료 웹 도구였고, Turnitin과 PlagiarismCheck는 연구팀에 접근 권한을 제공한 상용 시스템이었습니다. 2023년 3월부터 5월까지 총 756건의 개별 테스트가 실행되었습니다.

도구들이 예/아니요가 아니라 확률을 보고하므로, 저자들은 모든 출력을 5단계 척도에 대응시키고 정확도를 세 가지 방식으로 계산했습니다. 방식이 바뀌어도 도구 순위는 거의 달라지지 않았고, 그래서 이 결과를 채점 방식의 부산물로 치부하기가 더 어렵습니다.

핵심 결과: 80%에 도달한 도구는 없었습니다

모든 도구의 정확도가 80% 미만이었고, 70%를 넘은 도구는 Turnitin, Compilatio, GPT-2 Output Detector, Crossplag, Go Winston 다섯 개뿐이었습니다. Turnitin은 세 가지 채점 방식 모두에서 1위였습니다. GPT-2 Output Detector가 3위에 오른 것은 저자들에게도 의외였는데, GPT-3.5 출력으로 학습한 적이 전혀 없기 때문입니다.

• Turnitin76%
• Compilatio74%
• GPT-2 Output Detector Demo72%
• GPT Zero54%
• PlagiarismCheck39%
• Content at Scale33%

출처: Weber-Wulff et al. 2023, Table 5(이진 방식, 도구별 문서 54개).

하지만 전체 정확도 수치는 이야기의 대부분을 가립니다. 흥미로운 부분은 각 도구가 어디서 실패했는가입니다.

정확도가 무너진 지점

도구와 채점 방식 전체 평균으로, 사람이 쓴 영어 텍스트는 96% 정확하게 분류되었습니다. 편집하지 않은 ChatGPT 텍스트는 74%였습니다. 그 뒤로는 수치가 빠르게 떨어졌습니다.

• 사람 작성(01-Hum)96%
• ChatGPT, 편집 없음(03/04-AI)74%
• ChatGPT, 수작업 편집(05-ManEd)42%
• ChatGPT, 기계 패러프레이즈(06-Para)26%

출처: Weber-Wulff et al. 2023, 5.1.1절(모든 정확도 방식의 평균).

기계 번역. 다른 언어로 쓰여 영어로 기계 번역된 사람 텍스트는 영어 원문보다 정확하게 분류된 비율이 약 20포인트 낮았습니다. 모든 아이디어가 사람에게서 나왔더라도, 번역은 도구가 기계 출력으로 읽는 통계적 흔적을 남깁니다.

가벼운 수작업 편집. 저자들이 패치라이팅(patchwriting)이라고 부르는, 유의어를 바꾸고 절의 순서를 바꾸는 정도의 빠른 손질만으로 평균 정확도가 42%로 떨어졌습니다.

기계 패러프레이즈. Quillbot을 한 번 거치자 정확도가 26%로 떨어졌습니다. 패러프레이즈된 AI 텍스트 대부분이 사람 글로 읽혔습니다.

이렇게 얕은 변화가 왜 그토록 큰 영향을 줄까요? 대부분의 탐지기는 의미를 읽지 않습니다. AI 탐지기의 작동 원리에서 설명했듯이, 탐지기는 각 단어가 얼마나 예측 가능한지, 텍스트의 리듬이 얼마나 균일해 보이는지에 점수를 매깁니다. 단어 선택을 충분히 바꾸면 내용은 그대로인데 통계적 지문이 바뀝니다. 이는 글의 속성이 아니라 탐지기의 취약성입니다.

'사람' 쪽으로의 편향, 그리고 억울한 의심 문제

GPT Zero라는 두드러진 예외를 빼면, 모든 도구가 AI 텍스트보다 사람 텍스트에서 더 정확했습니다. 저자들은 이를 아마도 의도적인 설계 선택으로 보며, 교육 현장에서는 이쪽이 더 안전한 방향이라고 주장합니다. 그래도 오류는 양쪽 모두에서 나왔습니다.

연구팀은 '부당 의심 비율'을 정의했습니다. 사람이 쓴 사례 중, 도구의 출력 때문에 교사가 학생을 의심할 법한 경우의 비율입니다. 영어 원문의 경우 도구 평균은 2.4%였고, 기계 번역 텍스트는 11.1%였습니다. 도구 절반은 부당 의심을 한 번도 일으키지 않았습니다. GPT Zero는 50%로 이례적이었고, 저자들은 이를 학술 용도에 부적합하다고 평가했습니다. Turnitin은 이 테스트셋에서 부당 의심이 없었습니다.

반대쪽으로는 편집하지 않은 AI 텍스트의 평균 약 20%, 의도적으로 흐린 텍스트의 약 절반이 탐지되지 않았습니다. 연구팀은 같은 문서가 날마다 다른 결과를 받는 것도 보았습니다. Check For AI의 한 테스트는 낮은 위험으로 보고했다가 닷새 뒤에는 높은 위험으로 보고했습니다. 의심을 받는 사람에게는 이런 비일관성이 오류율만큼이나 중요합니다.

번역 결과는 특히 해외 연구자들이 주목할 만합니다. 모국어로 쓰고 자기 글을 번역하는 것은 정당한 방식인데도, 이 연구에서는 오탐 위험을 높였습니다. GPT 탐지기는 비원어민 필자에게 편향되어 있다에서 다룬 연구 결과와도 맞아떨어집니다.

저자들의 권고

결론은 교육자를 향해 있으며, 단호합니다.

• 탐지기 출력을 부정행위 보고의 유일한 근거로 삼아서는 안 됩니다. 텍스트 대조 소프트웨어와 달리 AI 탐지기는 확인할 수 있는 출처를 제시하지 않으므로, 학생은 반박할 구체적인 대상이 없습니다.
• 표시는 판정이 아니라 학생과 대화를 시작하는 계기가 될 수 있습니다.
• 탐지보다 예방이 먼저입니다. 생성형 AI의 윤리적·비윤리적 사용에 대한 명확한 안내가 필요하고, 최종 결과물보다 글쓰기 과정을 중시하도록 평가를 재설계해야 합니다.
• 기관은 학생의 글을 클라우드 기반 탐지 서비스에 올리는 일의 개인정보 및 법적 측면을 고려해야 합니다.

논문은 한계도 솔직하게 밝힙니다. 영어만, 생성 모델 하나만, 2023년 초 시점의 도구만 테스트했습니다. 이후 업체들이 제품을 업데이트했으므로 구체적인 수치를 현재 점수로 읽어서는 안 됩니다. 이어지는 것은 방법론과 실패 패턴이며, RAID 벤치마크 같은 후속 연구는 훨씬 큰 규모에서 같은 종류의 약점을 발견했습니다.

AI의 도움을 받아 글을 쓴다면

연구자나 학생이라면 세 가지 실용적인 시사점이 있습니다. 첫째, 소속 기관이나 투고할 학술지가 실제로 무엇을 허용하는지 확인하고, 필요한 경우 AI 사용을 공개하세요. 둘째, 초안, 메모, 버전 기록을 보관하세요. 연구 저자들이 강조하듯 탐지기는 증거를 제시하지 않으며, 내 작업 과정의 기록이야말로 가질 수 있는 가장 강력한 증거입니다(초안 기록이 학술 진실성을 뒷받침하는 방법 참고). 셋째, 표시를 받았다면 공개된 오류율은 사람의 검토를 요청할 합리적인 근거가 됩니다. 그 대화는 AI로 잘못 판정받았을 때 대처법에서 다룹니다. 교수자가 문제를 제기했다면 교수님은 AI 쓴 걸 알까?에서 교수가 점수 외에 무엇을 보는지 설명합니다.

Academic Humanizer의 역할

Academic Humanizer가 존재하는 이유가 바로 이런 연구입니다. 격식 있고 꼼꼼하게 다듬은 학술 문장은 탐지기가 긋는 선 가까이에 놓일 수 있고, 좋은 아이디어가 잘못 분류됩니다. Humanizer는 원고를 문장 단위로 검사해 탐지기가 표시한 문장만 고쳐 쓰고, 나머지는 쓰신 그대로 두며 주장, 숫자, 인용을 온전히 지킵니다. 내장된 AI 탐지 리포트는 표시된 문장과 고쳐 쓴 문장을 나란히 보여 주고 두 버전을 같은 기준으로 비교하므로, 무엇이 바뀌었는지 확인하고 사용하기 전에 모든 줄을 직접 검토할 수 있습니다.