AI 생성 텍스트는 신뢰성 있게 탐지될까? Sadasivan 논문

AI 탐지기는 믿을 만할까요? Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang, Soheil Feizi의 2023년 논문 "Can AI-Generated Text Be Reliably Detected?"에 따르면, 누군가 적극적으로 탐지기를 피하려 한다면 그렇지 않으며, 언어 모델이 사람처럼 쓰는 능력이 좋아질수록 점점 더 어려워집니다. 이후 Transactions on Machine Learning Research에 게재된 이 논문은 AI 탐지기 논쟁에서 가장 많이 인용되는 주장 중 하나가 되었습니다.

논문의 주장은 세 가지입니다. 기계가 쓴 텍스트를 패러프레이징하면, 특히 반복해서 하면 주요 탐지기 유형이 모두 무력화됩니다. 탐지기를 속여 사람의 글을 표시하게 만들 수도 있습니다. 그리고 어떤 탐지기든 도달할 수 있는 성능에는 수학적 상한이 있습니다. 이 글은 각 주장을 설명한 뒤 반론을 제기한 연구들을 살펴봅니다.

주장 1: 재귀적 패러프레이징이 탐지기를 무너뜨린다

공격 방법은 간단합니다. 언어 모델이 쓴 구절을 패러프레이징 모델에 넣습니다. 그리고 그 결과를 다시 패러프레이징하고, 이를 반복합니다. 저자들은 이를 재귀적 패러프레이징이라 부르며, 약 300토큰 분량의 구절에 여러 패러프레이저로 시험했습니다. 그중에는 다른 연구팀이 바로 이런 연구를 위해 만든 110억 파라미터 모델 DIPPER도 있었습니다.

공격 대상은 네 가지 탐지기 계열이었습니다.

• 워터마크 탐지기는 생성 시점에 심어 둔 숨은 통계 패턴을 찾습니다. 작동 방식은 LLM 워터마킹 논문 해설에서 다룹니다.
• 학습된 분류기로는 OpenAI가 공개한 RoBERTa 기반 탐지기가 있습니다.
• 제로샷 탐지기는 DetectGPT처럼 모델 자체의 확률을 읽습니다.
• 검색 기반 탐지기는 구절을 모델이 생성한 모든 텍스트의 데이터베이스와 비교합니다.

• 워터마크, 원문 (FPR 1%에서의 TPR)99.3%
• 워터마크, 재귀적 패러프레이징 후9.7%
• 제로샷 탐지기, 원문 (AUROC)96.5%
• 제로샷 탐지기, 패러프레이징 후 (AUROC)25.2%

출처: Sadasivan et al., "Can AI-Generated Text be Reliably Detected?", arXiv 2303.11156

워터마크가 적용된 텍스트의 경우, 재귀적 패러프레이징으로 오탐률 1%에서의 참양성률이 99.3%에서 9.7%로 떨어졌습니다. 제로샷 탐지기의 AUROC는 96.5%에서 25.2%로 떨어져 무작위 추측보다도 나빠졌습니다. 저자들은 사람 평가도 진행해, 패러프레이즈가 대체로 의미와 문법을 유지했지만 일부 경우 품질이 떨어졌다고 보고했습니다.

주장 2: 탐지기는 스푸핑될 수 있다

두 번째 공격은 반대 방향입니다. 사람의 글을 기계가 쓴 것처럼 보이게 만드는 것입니다. 저자들은 탐지기 작동 방식을 모른 채 워터마크 모델에 질의만 하는 공격자도 워터마크가 선호하는 단어를 추정할 수 있음을 보였습니다. 그 단어들로 글을 쓰면 사람의 글도 워터마크에 걸립니다. 실험에서 스푸핑은 소프트 워터마크의 탐지 AUROC를 99.8%에서 1.3%로 떨어뜨렸습니다. 탐지기가 진짜 워터마크 텍스트와 위조된 텍스트를 더 이상 구분하지 못한다는 뜻입니다.

탐지기로 자신의 글을 검사받는 사람에게는 이쪽이 더 불편한 결과입니다. 속아서 사람의 글을 고발할 수 있는 탐지기는 모델 개발자뿐 아니라 판정 대상이 되는 사람들에게도 평판 위험이 됩니다.

주장 3: AUROC 상한

이론적 결과는 탐지 성능을 하나의 숫자에 묶습니다. 사람이 쓸 수 있는 모든 텍스트를 하나의 확률 분포로, 모델이 쓸 수 있는 모든 텍스트를 또 다른 분포로 생각해 보세요. 둘 사이의 총변동 거리(TV)는 두 분포가 얼마나 다른지를 0(동일)부터 1(겹침 없음)까지로 측정합니다. 논문은 모든 탐지기에 대해 다음이 성립함을 증명합니다.

AUROC ≤ 1/2 + TV − TV²/2

TV가 크면 상한이 느슨해 좋은 탐지기가 가능합니다. 모델이 발전해 출력 분포가 사람의 글에 가까워지면 TV가 줄어들고, 달성 가능한 최고 AUROC는 동전 던지기 수준인 0.5로 내려갑니다.

논문의 상한식으로 계산한 값이며, 실험 결과가 아닙니다.

• 분포가 멀리 떨어진 경우
• 분포가 가까운 경우

상한의 의미를 보여 주는 예시이며, 논문의 데이터가 아닙니다

반론

이 논문에는 강한 반론이 이어졌습니다. 세 가지는 알아 둘 만합니다.

텍스트가 많아지면 탐지가 다시 가능해진다

Souradip Chakraborty와 동료들은 ICML 2024 포지션 논문 "Position: On the Possibilities of AI-Generated Text Detection"에서 이 상한이 단일 샘플에 적용된다고 주장했습니다. 탐지기가 더 많은 텍스트, 즉 더 긴 구절이나 같은 출처의 여러 샘플을 보면 분포를 구분하기 쉬워지며, 사람과 기계의 텍스트가 전 범위에서 동일하지 않은 한 탐지는 여전히 가능하다는 것입니다. 이들은 필요한 텍스트 양도 도출했습니다. 요약하면 샘플당 상한은 실재하지만, 길이가 늘수록 올라갑니다.

워터마크는 예상보다 오래 살아남는다

원래의 green-list 방법을 만든 John Kirchenbauer 중심의 워터마킹 연구팀은 "On the Reliability of Watermarks for Large Language Models"(ICLR 2024)에서 이 문제를 연구했습니다. 패러프레이즈는 원문의 조각을 남기는 경향이 있어서, 사람과 기계의 패러프레이징을 거친 뒤에도 워터마크가 탐지 가능하다는 결과를 얻었습니다. 사람이 대폭 고쳐 쓴 한 설정에서는 평균 약 800토큰 이후 매우 낮은 오탐률로 워터마크를 탐지할 수 있었습니다.

방어 수단으로서의 검색

DIPPER를 만든 Kalpesh Krishna와 동료들은 NeurIPS 2023 논문에서, 모델 제공자가 자신의 출력을 저장해 두고 검색하는 방법을 제안했습니다. 생성 결과 1,500만 건을 저장한 상태에서 오탐률 1%로 패러프레이즈된 출력의 80%~97%를 탐지했습니다. Sadasivan 등은 재귀적 패러프레이징이 검색 방식도 약화시킨다고 반박했습니다. DIPPER는 DIPPER 패러프레이징이 AI 탐지기를 피하는 방법에서 다룹니다.

실제로 의미하는 것

논쟁은 합리적인 중간 지점으로 수렴합니다. 탐지는 짧은 글보다 긴 글에서 더 잘 작동하고, 탐지기가 어떤 모델을 상대하는지 알 때 더 잘 작동하며, 모델과 재작성 도구가 발전할수록 약해집니다. 어떤 반론도 문단 하나를 확실하게 판정할 수 있다고 주장하지 않습니다. 상용 탐지기 하나에서 이것이 어떻게 나타나는지는 턴잇인은 휴머나이저 글도 잡을까?를 참고하세요.

• 짧은 구절일수록 불확실성이 가장 큽니다. 초록이나 문단 하나가 바로 샘플당 상한이 작동하는 영역입니다. RAID 같은 벤치마크는 설정에 따라 성능이 얼마나 달라지는지 보여 줍니다.
• 오류는 양방향으로 일어납니다. 비원어민 작성자에 대한 편향 연구가 보여 주듯, 탐지기는 고쳐 쓴 기계 텍스트를 놓치기도 하고 사람의 글을 표시하기도 합니다.
• 점수는 판결이 아니라 확률입니다. 점수를 증거로 취급하는 기관은 연구가 뒷받침하는 것보다 더 큰 확실성에 기대고 있는 셈입니다.

Academic Humanizer의 위치

문단 수준에서 탐지가 불확실하다면, 정직한 저자에게 합리적인 대응은 추측하는 대신 점수를 좌우하는 문장을 직접 보는 것입니다. Academic Humanizer는 초안에서 탐지기가 표시하는 문장을 찾아 그 문장만 의미, 수치, 인용을 유지하며 다시 쓰고, 사람의 글로 읽히는 문장은 쓴 그대로 둡니다. AI Detection Report는 수정 전후를 같은 기준으로 비교하고, 여전히 표시된 문장이 있으면 분명히 알려 줍니다. 모든 변경은 직접 검토하고 승인하며, 소속 기관이나 학술지의 AI 정책 확인도 여전히 필요한 일입니다.