DetectGPT 해설: 확률 곡률로 AI 텍스트를 탐지하는 원리

DetectGPT는 AI 생성 텍스트를 탐지하는 제로샷 방법으로, 간단한 질문 하나를 던집니다. 구절을 조금씩 고쳐 쓰면 언어 모델이 그 구절을 덜 좋아하게 될까? 기계가 쓴 텍스트는 모델 확률의 국소적 정점에 놓이는 경향이 있어서 거의 어떤 변경을 가해도 점수가 낮아집니다. 사람이 쓴 텍스트에는 대개 그런 뾰족한 정점이 나타나지 않습니다.

이 아이디어는 Eric Mitchell과 동료들이 ICML 2023에서 발표한 논문에서 나왔습니다. 오늘날 많은 도구가 기반으로 삼는 더 빠른 방법들을 포함해, 이후 탐지 연구의 상당 부분에 영향을 주었습니다. 이 해설은 방법을 쉬운 말로 설명하고, 저자들이 보고한 결과와 내 글이 탐지기로 검사받을 때 그것이 무엇을 의미하는지 살펴봅니다.

DetectGPT가 풀고자 한 문제

DetectGPT 이전의 탐지기는 크게 두 계열이었습니다. 학습된 분류기는 사람과 기계 텍스트의 라벨 붙은 예시로 학습하므로, 학습 데이터와 비슷한 데이터에서는 잘 작동하지만 새로운 데이터에서는 성능이 떨어집니다. 평균 로그 확률이나 토큰 순위 같은 제로샷 통계는 학습이 필요 없지만 투박합니다. 주제가 흔하거나 문체가 격식체라는 이유만으로도 구절의 확률이 높게 나올 수 있기 때문입니다.

Mitchell과 동료들은 그 중간을 원했습니다. 이들의 탐지기는 텍스트를 썼다고 의심되는 모델의 로그 확률과, 작은 수정을 만드는 범용 도구만 사용합니다. 라벨 데이터셋도, 분류기 학습도, 생성 시점에 심는 워터마크도 필요 없습니다. 더 넓은 맥락이 먼저 궁금하다면 AI 탐지기의 작동 원리에서 주요 탐지기 계열을 다룹니다.

DetectGPT의 작동 원리: 쉬운 말로 풀어 본 확률 곡률

언어 모델은 모든 구절에 확률을 부여합니다. 가능한 모든 구절을 언덕과 골짜기로 이루어진 지형으로 상상해 보세요. 높이는 모델이 그 구절을 얼마나 그럴듯하게 보는지입니다. 모델은 텍스트를 생성할 때 단계마다 확률 높은 단어를 고르는 경향이 있어서, 출력이 언덕 꼭대기 근처에 놓입니다.

이제 구절에 의미를 해치지 않는 작은 수정을 몇 군데 가해 봅니다. 구절이 언덕 꼭대기에 있었다면 어느 방향으로 움직여도 내리막이므로 수정본의 점수가 낮아집니다. 사람의 글이 흔히 그렇듯 완만한 비탈이나 평지에 있었다면, 어떤 수정은 오르막이고 어떤 수정은 내리막이어서 평균 변화가 0에 가깝습니다. 논문은 이 형태를 음의 곡률이라 부릅니다. 언덕 꼭대기는 사방으로 아래로 휘어 있다는 뜻입니다.

• 모델이 생성한 구절
• 사람이 쓴 구절

아이디어를 보여 주는 예시이며, 논문의 데이터가 아닙니다

실제로 이 방법은 네 단계로 진행됩니다.

1. 원문 점수 매기기텍스트를 썼다고 의심되는 모델로 구절의 로그 확률을 계산합니다.
2. 교란하기짧은 단어 구간을 가리고, 별도의 모델인 T5가 그럴듯한 대안으로 채우게 합니다.
3. 사본 점수 매기기같은 의심 모델로 교란된 각 사본의 로그 확률을 계산합니다.
4. 비교하기원문의 점수가 사본 평균보다 뚜렷하게 높으면 기계 생성 가능성이 높다고 표시합니다.

교란 모델이 중요합니다. 저자들은 빈칸 채우기 모델인 T5로 짧은 구간을 바꿔, 사본이 자연스럽고 의미도 가깝게 유지되도록 했습니다. 주요 설정에서는 두 단어 길이의 구간으로 단어의 약 15%를 가렸고, 구절마다 교란 샘플 100개를 만들었습니다. 최종 점수는 원문과 교란 사본 평균의 차이를, 교란 점수의 변동 폭으로 정규화한 값입니다.

DetectGPT 논문이 보고한 결과

대표 결과는 가짜 뉴스 탐지에서 나왔습니다. 200억 파라미터 GPT-NeoX 모델이 생성한 뉴스 기사에서 DetectGPT는 AUROC 0.95를 기록했고, 가장 강력한 제로샷 기준선은 0.81이었습니다. AUROC는 가능한 모든 임계값에서 점수가 두 집단을 얼마나 잘 가르는지 측정합니다. 0.5는 동전 던지기, 1.0은 완벽한 분리입니다.

저자들은 15억 파라미터(GPT-2)부터 GPT-3 같은 1,750억 파라미터 모델까지, 뉴스(XSum), Wikipedia 문단(SQuAD 지문), Reddit 창작 글 프롬프트에서 시험했습니다. 사람식 수정에 대한 간단한 시험도 했는데, 기계 텍스트의 점점 더 많은 부분을 T5 재작성으로 바꾸는 방식이었습니다. 텍스트의 거의 4분의 1이 바뀌었을 때도 탐지 성능은 AUROC 0.8 이상을 유지했습니다.

내 글이 검사받는 사람에게 DetectGPT가 중요한 이유

대부분의 상용 탐지기는 내부 구조를 공개하지 않으며, 상당수는 DetectGPT식 검정이 아니라 학습된 분류기입니다. 그래도 이 논문은 많은 탐지가 기대고 있는 신호를 명확히 보여 줍니다. 모델이 보기에 지나치게 예측 가능한 텍스트입니다. 연구자에게는 몇 가지 실질적인 의미가 있습니다.

• 격식 있는 글은 본래 예측 가능합니다. 방법 섹션, 정형화된 단서 표현, 분야 관용구는 수천 편의 논문에서 반복됩니다. 모델은 이를 그럴듯하다고 보고, 그 결과 신중하게 쓴 사람의 글도 기계 쪽으로 밀립니다. 이 내용은 격식 있는 글이 AI가 쓴 것처럼 보이는 이유에서 다룹니다.
• 점수는 저자가 아니라 구절에 관한 것입니다. DetectGPT는 하나의 모델 아래에서 텍스트의 속성을 측정합니다. 초안, 메모, 의도는 볼 수 없습니다.
• 짧은 텍스트는 더 어렵습니다. 토큰이 적을수록 곡률 추정에 잡음이 많아집니다. 초록 하나는 챕터 전체보다 검정에 쓸 재료가 적습니다.

탐지기는 텍스트 점수를 매기는 데 쓰인 특정 모델에도 반응합니다. 한 모델에서 정점에 놓인 텍스트가 다른 모델에서는 정점이 아닐 수 있으며, 이것이 같은 문단을 두고 도구마다 판정이 엇갈리는 이유 중 하나입니다.

DetectGPT의 한계

논문은 제약을 솔직하게 밝히고 있으며, 이후 연구에서 더 많은 한계가 드러났습니다.

맞는 모델과 많은 연산이 필요합니다

DetectGPT는 텍스트를 쓴 모델의 로그 확률을 조회할 수 있을 때 가장 잘 작동합니다. 비공개 상용 모델은 그런 접근이 제한적이고, 다른 점수 모델을 쓰면 신호가 약해집니다. 비용도 문제입니다. 구절마다 추가 순전파가 100번 필요합니다. 후속 연구인 Fast-DetectGPT 논문은 같은 A100 GPU에서 벤치마크 기준 DetectGPT가 79,113초, 자신들의 방법이 233초 걸렸다고 측정했습니다. 약 340배 차이입니다.

패러프레이징은 곡률 신호를 무너뜨립니다

이 방법은 구절이 모델이 남겨 둔 자리에 그대로 있다고 가정합니다. 패러프레이즈는 구절을 옮겨 놓습니다. Krishna와 동료들은 DIPPER 패러프레이저에 관한 NeurIPS 2023 논문에서 이를 직접 시험했습니다. 기계 텍스트를 다시 쓰자 오탐률 1% 고정 조건에서 DetectGPT의 탐지율이 70.3%에서 4.6%로 떨어졌습니다. Sadasivan과 동료들은 이후 패러프레이징이 이런 종류의 제로샷 탐지기 AUROC를 96.5%에서 25.2%로 떨어뜨렸다고 보고했습니다. 프롬프트 꼼수가 계속 거론되는 것도 같은 약점 때문입니다. 단순한 프롬프트로는 챗GPT 탐지를 피하기 어려운 이유를 참고하세요.

• 원래의 기계 텍스트70.3%
• DIPPER 패러프레이즈 후4.6%

출처: Krishna et al., "Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense", NeurIPS 2023

교란 모델이 결과를 좌우합니다

저자들은 이 접근법에 적절한 교란 함수가 필요하다고 언급합니다. T5는 영어에서는 잘 작동하지만, 기성 빈칸 채우기 모델이 현실적인 재작성을 만들지 못하는 분야에서는 성능이 떨어질 수 있습니다. 전문적인 과학 언어가 그런 경우일 수 있습니다.

DetectGPT 이후

DetectGPT는 핵심 직관을 유지하면서 비용을 줄인 제로샷 탐지기 계보의 출발점이 되었습니다. Fast-DetectGPT는 구절 전체를 다시 쓰는 대신 토큰 단위 샘플링을 쓰고, Binoculars는 관련된 두 모델을 비교해 주제 자체가 의외인 경우를 보정합니다. 두 방법은 Fast-DetectGPT와 Binoculars 해설에서 다룹니다. 반대편에서는 AI 생성 텍스트는 신뢰성 있게 탐지될까?에 정리한 패러프레이징 공격 연구가, 이런 신호가 텍스트가 모델이 만들 법한 형태에 가깝게 남아 있는지에 얼마나 의존하는지 보여 줍니다.

Academic Humanizer의 위치

예측 가능성에 기반한 탐지기는 아이디어와 데이터가 온전히 저자의 것인 초안에서도, 지나치게 매끄럽거나 일반적으로 읽히는 개별 문장에 반응하는 경향이 있습니다. Academic Humanizer는 바로 그 수준에서 작동합니다. 초안에서 탐지기가 표시하는 문장을 찾아 그 문장만 주장, 수치, 인용, 용어를 유지하며 다시 쓰고, 나머지는 쓴 그대로 둡니다. 내장된 AI Detection Report는 표시된 각 문장을 재작성 문장 옆에 보여 주므로 사용 전에 모든 변경을 확인할 수 있으며, 그 검토 과정에서 소속 기관이나 학술지의 AI 정책도 함께 확인해 두는 것이 좋습니다.