턴잇인은 AI 워터마크를 탐지할까? LLM 워터마킹 해설

Turnitin이 공개한 AI 탐지기 설명은 글쓰기 패턴을 채점하는 학습된 분류기이며, 워터마크를 읽는다는 언급은 없습니다. LLM 워터마킹은 다른 개념입니다. AI가 텍스트를 생성하는 순간 통계적 신호를 숨겨 넣어, 나중에 비밀 키를 가진 소프트웨어가 텍스트의 출처를 확인할 수 있게 하는 방법입니다. 가장 잘 알려진 방법은 John Kirchenbauer 등의 "A Watermark for Large Language Models"(ICML 2023)로, 모델이 무작위로 정해진 비밀 '그린' 단어 집합 쪽으로 기울도록 살짝 밀어 줍니다. 독자 눈에는 보이지 않지만, 간단한 통계 검정으로 그린 단어를 세면 짧은 구간에서도 패턴을 탐지할 수 있습니다.

워터마크는 AI 탐지 이야기에 자주 등장하지만 오해도 많습니다. 이 글에서는 그린 리스트 방식의 원리, 논문이 보고한 결과, 편집이 신호를 약하게 만드는 방식, 그리고 실제로 무엇이 쓰이고 있는지 설명합니다.

그린 리스트 워터마크의 작동 방식

언어 모델은 토큰을 하나씩 생성합니다. 토큰은 단어 하나이거나 단어의 일부입니다. 워터마킹 방식은 토큰을 고르기 전마다 다음을 수행합니다.

1. 직전 토큰으로 시드 생성방금 생성된 토큰을 해시해 난수 생성기의 시드로 씁니다.
2. 어휘 나누기그 시드로 전체 어휘를 그린 리스트(비율 γ)와 레드 리스트(나머지)로 나눕니다.
3. 확률 기울이기샘플링 전에 그린 토큰의 점수에 작은 가산점 δ를 더해 그린 단어가 뽑힐 가능성을 높입니다.
4. 평소처럼 샘플링다음 토큰을 고릅니다. 텍스트의 모든 위치에서 이를 반복합니다.

논문은 두 가지 버전을 설명합니다. 하드 워터마크는 레드 토큰을 아예 금지하는데, 유일하게 자연스러운 다음 단어가 하필 레드라면 텍스트가 망가질 수 있습니다. 흔히 말하는 소프트 워터마크는 확률만 기울입니다. 모델이 확신하는 경우(엔트로피가 낮은 경우, 예컨대 "Barack" 다음의 "Obama")에는 가산점이 거의 영향을 주지 않아 품질이 보호됩니다. 여러 단어가 똑같이 적절한 경우에는 가산점이 선택을 좌우하고, 그린 단어가 쌓입니다.

The survey results suggest that rural clinics face persistent staffing gaps across both regions.

설명을 위한 예시입니다. 초록색은 해당 위치의 그린 리스트에 속한 토큰, 빨간색은 레드 리스트 토큰입니다. 워터마크가 없는 텍스트라면 그린 비율이 대략 γ 정도로 나타납니다.

워터마크 탐지: z-점수 검정

탐지에는 모델에 대한 접근이 필요 없습니다. 비밀 해시 키만 있으면 누구나 직전 토큰으로 각 위치의 그린 리스트를 재구성하고, 구간 안에 그린 토큰이 몇 개인지 셀 수 있습니다. 사람이 쓴 텍스트는 리스트를 전혀 모르므로 우연히 대략 γ 비율의 토큰만 그린이 됩니다. 워터마크가 들어간 텍스트는 그보다 많습니다.

검정은 그린 토큰 수가 얼마나 의외인지를 묻습니다. 토큰 T개 중 G개가 그린일 때, 논문은 단일 비율 z-검정을 씁니다.

z = (G − γT) / √(T × γ × (1 − γ))

z가 임계값을 넘으면 워터마크가 있는 텍스트로 표시됩니다. 임계값을 z = 4로 두면 워터마크 없는 텍스트가 우연히 이를 넘을 확률은 약 0.00003, 즉 10만 분의 3입니다. 이 계산은 짧은 구간으로도 충분한 이유를 보여 줍니다. γ = 0.5이고 하드 워터마크라면, 모두 그린인 토큰 16개만으로 z = 4가 됩니다.

수십억 파라미터 규모의 OPT 모델로 약 200토큰 길이의 시퀀스, δ = 2, γ = 0.5, 일반 다항 샘플링 조건에서 실험한 결과, 검정은 워터마크 텍스트의 98.4%를 잡아냈고 해당 설정에서 오탐은 없었습니다. δ를 키우면 워터마크가 강해져 탐지가 쉬워지지만 텍스트 품질은 다소 떨어집니다.

워터마크는 편집에 얼마나 버티는가

각 위치의 그린 리스트가 직전 토큰에 따라 정해지므로, 단어 하나를 바꾸면 텍스트 전체가 아니라 두어 개 위치의 그린·레드 상태만 흐트러집니다. 저자들은 T5 모델로 구간을 바꿔 치는 공격을 시험했습니다. 워터마크는 약해졌지만 치환 때문에 텍스트 품질도 눈에 띄게 떨어졌습니다. 신호를 지우는 것과 글을 쓸 만한 상태로 유지하는 것 사이에 상충 관계가 있었던 셈입니다.

이후 연구들은 더 강한 공격을 시험했습니다.

• 패러프레이즈. Sadasivan 등은 반복 패러프레이즈를 적용하자 오탐률 1% 기준에서 워터마크가 들어간 300토큰 구간의 탐지율이 99.3%에서 9.7%로 떨어졌다고 보고했습니다. AI 생성 텍스트는 신뢰성 있게 탐지할 수 있을까?를 참고하세요.
• 스푸핑. 같은 논문은 공격자가 모델 출력으로 그린 리스트를 추정해 워터마크가 있는 것처럼 보이는 사람의 글을 위조할 수 있음을 보였고, 이로써 탐지기의 AUROC가 99.8%에서 1.3%로 떨어졌습니다.
• 신뢰성에 대한 반론. Kirchenbauer 연구팀은 "On the Reliability of Watermarks for Large Language Models"(ICLR 2024)로 응답했습니다. 패러프레이즈가 원문의 조각을 남기기 때문에 사람과 기계의 패러프레이즈 후에도 워터마크는 탐지 가능했다는 것입니다. 사람이 강하게 고쳐 쓴 한 설정에서는 매우 낮은 오탐률 기준으로 탐지에 평균 약 800토큰이 필요했습니다.

공정하게 요약하면 이렇습니다. 가벼운 편집은 워터마크를 그대로 남기고, 대대적인 고쳐 쓰기는 이를 약화시키며, 텍스트가 길수록 탐지기가 활용할 정보가 많아집니다. 고쳐 쓰기 쪽은 DIPPER 패러프레이즈 글에서 더 자세히 다룹니다.

Turnitin이 워터마크를 쓰지 않는 이유

워터마크는 그것을 적용한 모델의 텍스트에서만, 그리고 키를 가진 사람만 찾을 수 있습니다. 사람들이 탐지기에 붙여 넣는 텍스트 대부분은 다양한 모델에서 나오며, 그 모델들 대부분은 어떤 탐지 업체와도 워터마크 키를 공유하지 않습니다. 그래서 상용 탐지기는 다른 방식으로 작동합니다. Turnitin이 공개한 AI 글쓰기 탐지 설명은 학습된 트랜스포머 분류기를 다룹니다. 제출물을 겹치는 구간으로 나누고, 문장마다 점수를 매긴 뒤, 이를 합쳐 문서 단위 추정치를 냅니다. 그 설명 어디에도 워터마크를 읽는 과정은 없습니다. 이 지표는 Turnitin AI 탐지 점수 해설에서, 더 넓은 탐지기 유형은 AI 탐지기의 작동 원리에서 설명합니다. Turnitin이 챗봇별로 무엇을 탐지한다고 밝히는지는 턴잇인은 챗GPT·Claude·Gemini를 잡을까?에서 다룹니다.

업계에서 워터마킹의 현주소

워터마킹은 연구를 넘어 적어도 하나의 대규모 운영 시스템에 들어갔습니다. Google DeepMind는 2024년 10월 Nature에 "Scalable watermarking for identifying large language model outputs"를 발표했습니다. 이 논문이 소개한 SynthID-Text는 샘플링 단계만 바꾸며, 언어 모델을 실행하지 않고도 탐지합니다. 연구팀은 Gemini 응답 약 2,000만 건을 대상으로 한 실서비스 실험에서 사용자가 평가한 품질에 저하가 없었다고 보고했습니다.

OpenAI는 더 신중한 입장을 취했습니다. 2024년 8월 업데이트에서 자사의 텍스트 워터마킹 방법이 패러프레이즈 같은 국소적 변조에는 매우 정확하지만, 번역이나 다른 모델을 이용한 고쳐 쓰기 같은 전반적 변경에는 덜 정확하며, 영어 비원어민 같은 집단에 불균형한 영향을 줄 수 있다고 밝혔습니다. 당시에는 이 도구를 공개하지 않았습니다.

즉 워터마크는 존재하고, 원래 설계된 좁은 용도, 곧 특정 제공업체의 모델이 어떤 텍스트를 생성했는지 확인하는 데에는 효과가 있습니다. 하지만 원고에 어떤 AI든 관여했는지라는 일반적인 질문에는 답하지 못합니다.

Academic Humanizer와의 관계

대부분의 연구자에게 일상적으로 중요한 탐지기는 워터마크 판독기가 아니라 문장마다 문체를 평가하는 분류기입니다. Academic Humanizer가 작동하는 지점도 바로 여기입니다. 탐지기가 표시하는 문장을 찾아 그 문장만 주장, 숫자, 인용, 용어를 유지하며 고쳐 쓰고, 나머지 원고는 쓰신 그대로 둡니다. AI 탐지 리포트는 표시된 문장과 고쳐 쓴 문장을 나란히 보여 주어 검토를 돕습니다. 그래도 소속 기관이나 학술지의 AI 사용 공개 규정은 따라야 합니다.