AI 탐지기 원리: 직접 쓴 글이 AI로 걸리는 이유

AI 탐지기는 의미를 읽는 것이 아니라 텍스트가 언어 모델에게 얼마나 예측 가능해 보이는지를 측정하며, 직접 쓴 글이 AI로 표시될 수 있는 이유도 여기에 있습니다. 어떤 탐지기는 퍼플렉시티와 버스티니스 같은 단순한 통계를 쓰고, 어떤 탐지기는 라벨 붙은 예시로 학습한 분류기를 쓰며, 일부는 생성 시점에 텍스트에 심어 둔 숨은 워터마크를 씁니다. 누가 썼는지 아는 탐지기는 없습니다. 그 패턴이 기계의 출력과 닮았는지를 판단할 뿐입니다.

방법마다 약점이 다르지만, 거의 모두에 공통된 약점이 하나 있습니다. 신중하고 격식 있고 관례를 따르는 글은 본래 예측 가능하다는 점입니다. 그래서 잘 다듬은 방법 섹션이 어수선한 블로그 글보다 "AI"에 가까운 점수를 받을 수 있습니다. 주요 접근법이 어떻게 작동하는지, 연구가 그 한계에 대해 무엇을 말하는지, 학술 글쓰기가 왜 판정 경계선에 그토록 가까이 있는지 살펴봅니다.

핵심 신호: 모델이 얼마나 놀라는가

언어 모델은 가능한 모든 다음 단어(정확히는 다음 토큰)에 확률을 부여합니다. 모델이 텍스트를 생성할 때는 확률 높은 토큰을 고르는 경향이 있습니다. 모델에서 샘플링한다는 것이 원래 그렇기 때문입니다. 사람은 그런 규칙에 묶여 있지 않습니다. 의외의 동사를 고르고, 세 페이지 전의 세부 내용을 다시 언급하고, 강조를 위해 패턴을 깨기도 합니다.

퍼플렉시티는 이를 숫자로 바꿉니다. 구절을 모델에 넣어 각 토큰이 앞 내용에 비추어 얼마나 그럴듯했는지 묻고 그 결과를 평균합니다. 퍼플렉시티가 낮으면 모델이 텍스트를 쉽게 예측했다는 뜻이고, 높으면 계속 놀랐다는 뜻입니다. GPTZero의 자체 설명도 퍼플렉시티를 대략 이렇게 정의하며, 높은 점수를 사람이 썼다는 신호로 봅니다(GPTZero).

The results of this study suggest that soil moisture plays an important role in seedling survival, though only after the second frost.

초록색: 모델이 예상한 토큰. 중립: 주제어. 빨간색: 모델이 예상하지 못한 토큰. 앞부분은 상투적인 틀처럼 읽히고, 뒤에 붙은 한정어가 사람 독자와 탐지기 모두의 눈에 띄는 부분입니다.

이 아이디어는 ChatGPT보다 오래되었습니다. 2019년 Harvard와 IBM 연구진이 만든 GLTR은 모델 예측에서의 순위에 따라 각 단어에 색을 칠해 사람이 생성 텍스트를 알아볼 수 있게 했습니다. 이 연구에서 시각화는 훈련받지 않은 독자의 탐지율을 54%에서 72%로 높였습니다(Gehrmann et al., ACL 2019 demo).

버스티니스: 문장 간 변동

퍼플렉시티는 토큰 단위로 측정합니다. 버스티니스는 한 단계 위에서, 예측 가능성이 문장마다 얼마나 달라지는지를 봅니다. 사람의 글은 들쭉날쭉한 경향이 있습니다. 짧은 평서문 다음에 종속절 두 개와 괄호가 들어간 긴 문장이 오고, 그다음에 불완전한 문장이 옵니다. 생성된 텍스트는 비슷한 길이와 구조의 문장으로 더 일정한 리듬을 유지하는 경우가 많습니다.

버스티니스를 추적하는 탐지기는 구절에 그런 오르내림이 있는지 묻습니다. 평평한 패턴은 점수를 "AI" 쪽으로 밉니다. 문제는 많은 장르가 의도적으로 평평하다는 것입니다. 초록, 프로토콜 기술, 법률이나 규제 문서는 모두 균일한 문장을 선호합니다.

퍼플렉시티와 버스티니스는 설명하기 쉬워서 대중적인 기사에서 주로 다뤄집니다. 하지만 더 이상 전부는 아닙니다. GPTZero도 딥러닝 아키텍처로 옮겨 갔으며, 이 두 지표를 주된 방법이 아닌 여러 지표 중 일부로 다룬다고 밝힙니다.

학습된 분류기

오늘날 대부분의 상용 탐지기는 지도 학습 분류기입니다. 개발팀이 사람이 쓴 텍스트와 기계가 쓴 텍스트를 대량으로 모아 라벨을 붙이고, 둘을 구분하도록 신경망을 미세조정합니다. 신경망은 두 묶음을 가르는 것이라면 무엇이든 학습합니다. 단어 선택, 구절 빈도, 구두점 습관, 문단 형태, 그리고 아무도 이름 붙이지 않은 패턴까지요.

분류기는 학습 데이터와 비슷한 텍스트에서는 매우 정확할 수 있습니다. 여러 약한 언어 모델의 특징을 분류기에 넣는 연구 시스템 Ghostbuster는 자체 벤치마크에서 도메인 전반에 걸쳐 F1 99.0을 보고했습니다(Verma et al., NAACL 2024). 문제는 변화입니다. 한 세대의 모델, 한 묶음의 장르, 한 가지 디코딩 설정으로 학습한 분류기는 그중 무엇이든 바뀌면 흔들릴 수 있습니다. 모델 11종, 도메인 8개, 적대적 공격 11가지에 걸친 600만 건 이상의 생성 텍스트로 구성된 RAID 벤치마크는, 탐지기가 샘플링 전략 변경, 처음 보는 모델, 단순한 공격에 쉽게 속는다는 것을 발견했습니다(Dugan et al., ACL 2024).

가장 분명한 경고 사례는 OpenAI에서 나왔습니다. 2023년 1월 공개된 OpenAI 자체 AI 텍스트 분류기는 챌린지 세트에서 AI가 쓴 텍스트의 26%만 올바르게 표시했고, 사람의 텍스트 9%를 잘못 분류했습니다. OpenAI는 낮은 정확도를 이유로 2023년 7월 이를 철회했습니다(OpenAI).

제로샷 통계 방법

두 번째 계열의 탐지기는 학습을 아예 건너뜁니다. 이런 제로샷 방법은 언어 모델 자체의 확률로 구절을 검정합니다.

Stanford의 DetectGPT는 하나의 관찰에 기반합니다. 모델에서 샘플링한 텍스트는 그 모델 로그 확률의 국소적 정점에 놓이는 경향이 있다는 것입니다. 두 번째 모델(저자들은 T5를 사용)로 단어 몇 개를 살짝 바꾸면 기계 텍스트는 확률이 빠르게 떨어지지만, 사람의 텍스트는 덜 예측 가능하게 변합니다. 200억 파라미터 모델이 만든 가짜 뉴스 기사에서 DetectGPT는 AUROC 0.95를 기록했고, 가장 강력한 제로샷 기준선은 0.81이었습니다(Mitchell et al., ICML 2023).

• 기계가 생성한 구절
• 사람이 쓴 구절

Mitchell 등(2023)이 설명한 방법에 기반한 예시 형태

DetectGPT는 구절마다 교란된 사본을 많이 점수 매기기 때문에 비용이 큽니다. Fast-DetectGPT는 교란 단계를 더 저렴한 샘플링 추정으로 바꿔 약 75%의 상대적 개선과 340배의 속도 향상을 보고했습니다(Bao et al., ICLR 2024). Binoculars는 밀접하게 관련된 두 모델이 같은 텍스트에 매기는 점수를 비교하며, ChatGPT 데이터로 학습하지 않고도 오탐률 0.01%에서 ChatGPT 샘플의 90% 이상을 탐지했다고 보고했습니다(Hans et al., ICML 2024).

워터마크

워터마킹은 탐지를 생성 시점으로 옮깁니다. Kirchenbauer와 동료들이 제안한 방식에서 모델은 단계마다 직전 토큰의 해시로 어휘를 "green" 목록과 "red" 목록으로 나누고, 샘플링을 green 토큰 쪽으로 살짝 기울입니다. 해싱 규칙을 아는 탐지기는 green 토큰 수를 세어 통계 검정을 합니다. 사람의 텍스트는 우연 수준에 가깝고, 워터마크가 있는 텍스트에는 green이 지나치게 많습니다(Kirchenbauer et al., ICML 2023).

워터마크는 텍스트를 쓴 모델이 워터마크를 적용했을 때만, 그리고 키를 아는 탐지기에서만 작동합니다. 많이 편집하면 약해지기도 합니다. Krishna 등은 학습된 패러프레이저가 오탐률 1%에서 DetectGPT의 탐지율을 70.3%에서 4.6%로 떨어뜨렸고, 워터마크 탐지도 약해졌음을 보였습니다(Krishna et al., NeurIPS 2023). 따라서 실제로 대학이나 학술지가 쓰는 탐지기는 워터마크 판독기가 아니라 분류기와 통계적 점수기입니다.

문장 점수와 문서 점수

탐지기는 보고 단위가 서로 다릅니다. 어떤 탐지기는 문서 전체에 확률 하나를 돌려줍니다. 다른 탐지기는 문장이나 짧은 구간마다 점수를 매겨 의심스러운 부분을 강조한 뒤 이를 백분율로 합산합니다. 예를 들어 Turnitin은 문장을 강조 표시하며, 자체 안내에서 문장 단위 오탐률을 약 4%라고 설명한 바 있습니다(Turnitin).

문장 단위 점수는 정보가 더 많지만 잡음도 많습니다. 문장 하나에는 토큰이 적어 퍼플렉시티 추정이 불안정합니다. 문서 단위 점수는 더 안정적이지만 문제가 어디 있는지 감춥니다. 이 상충 관계는 문장 단위 AI 탐지에서, 도구마다 판정이 다른 이유는 AI 탐지기들의 판정이 엇갈리는 이유에서 자세히 다룹니다.

격식 있는 학술 글이 경계선 근처에 놓이는 이유

위의 모든 방법은 놀라움에 점수를 주고 관례에 불이익을 줍니다. 학술 글쓰기는 관례 위에 세워져 있습니다. 각 분야는 독자가 논문을 빠르게 훑을 수 있도록 표현을 표준화합니다. "Participants were randomly assigned to", "These findings are consistent with", "Further research is needed to" 같은 표현입니다. 문체 지침은 꾸밈을 권하지 않습니다. 비원어민 작성자는 더 좁고 안전한 어휘에 기대는 경우가 많습니다. 이 모든 것이 퍼플렉시티를 낮춥니다.

가장 분명한 근거는 Stanford의 Liang 등에게서 나옵니다. 이들은 탐지기 7종을 비원어민 영어 화자가 쓴 TOEFL 에세이와 미국 중학교 2학년생의 에세이에 돌렸습니다. 탐지기들은 원어민 에세이에서는 거의 완벽했지만, TOEFL 에세이는 평균 61.3%를 AI로 잘못 분류했습니다. 연구진이 ChatGPT로 같은 에세이의 어휘를 풍부하게 바꾸자 평균 오탐률은 11.6%로 떨어졌습니다(Liang et al., Patterns 2023).

• 원본 에세이61.3%
• 어휘 풍부화 후11.6%

출처: Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

교훈은 탐지기가 쓸모없다는 것이 아닙니다. 점수가 저자만큼이나 문체를 반영한다는 것입니다. 평이하고 절제된 영어를 쓰는 신중한 연구자는 AI를 전혀 쓰지 않고도 경계선의 반대편에 놓일 수 있습니다. 이 효과는 Liang 연구 리뷰와 격식 있는 글이 AI가 쓴 것처럼 보이는 이유에서 더 자세히 살펴봅니다. 내 아이디어를 지키면서 고치는 방법은 AI 탐지기 안 걸리는 법을 참고하세요.

Academic Humanizer의 위치

Academic Humanizer는 바로 이 마지막 문제를 위해 만들어졌습니다. Humanizer는 초안을 문장 단위로 스캔해 탐지기가 표시한 문장만 다시 쓰고, 나머지는 쓴 그대로 두며, 논증, 수치, 인용, 용어를 유지합니다. 내장된 AI Detection Report는 표시된 각 문장을 재작성 문장 옆에 보여 주며 두 버전을 비교하고, 결과는 Turnitin, GPTZero, Originality.ai 등의 탐지기를 기준으로 확인합니다. 제출물에 어떤 도구를 쓰기 전에도 소속 기관이나 학술지의 AI 정책을 확인하고, 결과물은 어디에 내보내기 전에 직접 읽어 보세요.