패러프레이징하면 AI 탐지 우회될까? DIPPER 논문 해설

패러프레이징하면 AI 탐지를 우회할 수 있을까요? 2023년 테스트에서는 대체로 그랬습니다. UMass Amherst와 Google 연구진은 좋은 패러프레이징 모델을 한 번만 거쳐도 AI 생성 텍스트가 의미는 거의 그대로인 채 대부분의 탐지기를 빠져나갈 수 있음을 보였습니다. NeurIPS 2023에서 발표된 이 논문에서 DetectGPT의 탐지율은 오탐률 1% 고정 조건에서 70.3%에서 4.6%로 떨어졌습니다. 논문은 텍스트의 문체를 전혀 읽지 않는 방어책도 제안했습니다.

이 논문은 이후 AI 휴머나이저와 탐지기 견고성에 관한 연구 대부분의 출발점입니다. 논문이 무엇을 했고 무엇을 발견했는지, 그리고 AI의 도움을 받아 글을 쓰는 사람에게 어떤 의미인지 정리합니다.

DIPPER란

DIPPER(Discourse Paraphraser의 줄임말)는 T5-XXL을 미세조정한 110억 파라미터 모델입니다. 당시 대부분의 패러프레이저는 한 번에 한 문장씩 작동했습니다. DIPPER는 문단 전체를 다시 쓰고, 원래 프롬프트 같은 주변 맥락을 활용하며, 문장 간에 내용 순서를 바꾸도록 학습되었습니다.

학습 데이터는 같은 비영어권 소설의 여러 영어 번역본을 모은 데이터셋 PAR3에서 가져왔습니다. 두 번역가가 같은 문단을 옮기면 단어 선택과 문장 순서는 다르지만 내용은 같은, 서로에 대한 자연스러운 패러프레이즈가 됩니다. 덕분에 모델은 사람들이 하나의 아이디어를 다양하게 표현하는 현실적인 예시를 얻었습니다.

DIPPER에는 추론 시점에 설정하는 두 가지 조절값이 있습니다.

• 어휘 다양성(L): 표현을 얼마나 바꿀지입니다. 저자들은 L = 20이 대략 20%의 어휘 수정에 해당한다고 설명합니다.
• 순서 다양성(O): 문단 안에서 내용 순서를 얼마나 바꿀지입니다.

주요 실험에서 L은 20, 40, 60으로, O는 0 또는 60으로 설정했으며, 각 텍스트는 통과할 때까지 재시도하지 않고 한 번만 패러프레이징했습니다.

실험 설계

저자들은 크기가 크게 다른 세 모델로 300토큰 텍스트를 생성했습니다. GPT-2 XL(15억 파라미터), OPT-13B, GPT-3.5(text-davinci-003)입니다. 과제는 Wikipedia 구절 이어 쓰기와 장문 질의응답이었습니다.

이어서 탐지기 다섯 종을 시험했습니다. Kirchenbauer 등의 워터마크, DetectGPT, GPTZero, OpenAI AI 텍스트 분류기, RankGen입니다. 모든 탐지기를 오탐률 1%로 맞췄는데, 사람이 쓴 텍스트 100편 중 1편만 잘못 표시된다는 뜻입니다. 저자들은 이것이 탐지기를 평가하는 올바른 방법이라고 주장하며, 실제로는 1%도 너무 높을 것이라고 덧붙입니다.

패러프레이즈가 의미를 유지했는지 확인하기 위해 의미 유사도 모델 P-SP와 사람 평가를 함께 사용했습니다.

탐지율에 일어난 일

• DetectGPT, GPT-2 XL 텍스트70.3%
• DetectGPT, 패러프레이즈 후4.6%
• 워터마크, GPT-2 XL 텍스트100%
• 워터마크, 패러프레이즈 후57.2%
• OpenAI 분류기, GPT-3.5 텍스트30.0%
• OpenAI 분류기, 패러프레이즈 후15.6%

출처: Krishna et al. 2023, 4.3절 (Wikipedia 이어 쓰기 생성).

모델, 탐지기, 과제를 가리지 않고 모든 다양성 설정에서 패러프레이징은 탐지율을 낮췄습니다. 동시에 패러프레이즈의 88%~99%가 사람이 쓴 패러프레이즈 쌍의 유사도 중앙값보다 높은 점수를 받아, 의미는 대체로 보존되었습니다.

눈에 띄는 결과가 두 가지 더 있습니다.

• 워터마킹이 가장 견고했습니다. 일부 워터마크 토큰이 표현을 바꿔도 살아남기 때문에, 패러프레이즈된 GPT-2 XL 텍스트의 과반을 여전히 잡아냈습니다. 워터마크의 강점은 생성 시점에 심은 신호에서 나오며, 이는 문체와는 다른 종류의 증거입니다. 그 신호의 작동 방식은 워터마킹 해설을 참고하세요.
• 워터마크가 아닌 탐지기는 큰 모델에서 패러프레이징 전부터 약했습니다. 이 설정에서 GPTZero와 RankGen은 패러프레이즈하지 않은 AI 텍스트도 15% 미만만 잡았고, 장문 질의응답에서 DetectGPT는 GPT-2 XL의 74.9%에서 OPT-13B의 29.8%로 떨어졌습니다. OpenAI는 낮은 정확도를 이유로 2023년 7월 분류기를 철회했습니다.

의미를 보존하는 재작성이 판정을 바꾸는 이유

탐지기가 무엇을 측정하는지 떠올리면 이 결과는 그리 놀랍지 않습니다. AI 탐지기의 작동 원리에서 설명했듯이, DetectGPT 같은 통계적 탐지기는 각 토큰이 언어 모델 아래에서 얼마나 그럴듯한지 점수를 매깁니다. 워터마크 탐지기는 비밀 "green list"에 속한 토큰 수를 셉니다. 어느 쪽도 논증을 읽지 않습니다.

패러프레이즈는 논증은 유지하되 개별 단어 선택을 다른 모델의 분포에서 새로 뽑습니다. 원문을 기계가 쓴 것처럼, 혹은 워터마크가 있는 것처럼 보이게 했던 토큰이 같은 뜻의 다른 토큰으로 바뀝니다. 탐지기는 새로운 통계적 지문을 보고, 독자는 같은 문단을 봅니다.

이것이 논문이 이후 모든 연구에 넘겨준 핵심 통찰입니다. 문체 기반 탐지는 표면 형태를 측정하며, 표면 형태는 의미가 고정된 채로도 바뀔 수 있습니다. 같은 생각으로 교실 실험에서 가벼운 사람의 편집이 탐지기를 혼란스럽게 하는 이유도, 비슷한 시기에 나온 Sadasivan 등의 논문이 탐지에 근본적 한계가 있을 수 있다고 주장한 이유도 설명됩니다.

검색 기반 방어

논문의 후반부는 문체에 의존하지 않는 방어책을 제시합니다. "이것이 기계가 쓴 것처럼 보이는가?"가 아니라 "우리 모델이 이런 의미의 글을 쓴 적이 있는가?"를 묻는 것입니다.

1. 저장언어 모델 제공자가 API로 생성된 모든 출력을 데이터베이스에 보관합니다.
2. 인코딩검사할 텍스트를 내용 표현으로 변환합니다.
3. 검색BM25나 P-SP 의미 모델로 내용이 일치하는 저장된 생성 결과를 찾습니다.
4. 판정충분히 가까운 일치 항목이 있으면 해당 제공자의 모델에서 나온 텍스트로 표시합니다.

패러프레이즈는 내용을 유지하므로 저장된 원문과 여전히 일치합니다. 생성 결과 1,500만 건의 데이터베이스로, 검색은 설정에 따라 패러프레이즈된 텍스트의 80%~97%를 탐지하면서 사람의 텍스트는 1%만 표시했습니다. 장문 질의응답에서 BM25 검색은 세 모델에서 가장 강하게 패러프레이즈된 텍스트의 97.8%, 97.3%, 96.2%를 잡았고, 가장 나은 경쟁 탐지기는 55.8%, 51.4%, 38.1%였습니다.

저자들은 한계도 솔직하게 논의합니다. 검색은 제공자가 운영할 때만 작동하고, 그 제공자의 출력만 탐지할 수 있으며, 데이터베이스가 커질수록 저장, 개인정보, 잘못된 일치에 관한 현실적인 문제가 생깁니다. 로컬에서 실행하는 오픈 웨이트 모델은 아예 범위 밖입니다.

휴머나이저 연구의 계보

DIPPER는 이후 연구가 따른 틀을 정했습니다. 별도의 모델로 AI 텍스트를 변환하고, 고정된 낮은 오탐률에서 탐지율을 측정하고, 의미가 살아남았는지 검증하는 것입니다. SICO는 프롬프트만으로도 같은 효과를 보였습니다. RAID 벤치마크는 패러프레이즈를 11가지 표준 공격 중 하나로 포함했습니다. 더 최근 연구는 탐지기 자체의 피드백으로 패러프레이징을 조정합니다.

학술 글을 쓰는 사람에게 이 교훈은 비법이 아닙니다. 탐지기 판정이 무엇을 의미할 수 있는지에 대한 경고입니다. 표시가 되었든 안 되었든, 그것은 텍스트의 표면 통계가 한 모델의 예상과 얼마나 맞는지를 반영할 뿐입니다. 누가 그 아이디어를 냈는지에 대해서는 믿을 만한 정보를 주지 않습니다. 그래서 어떤 점수보다 초안과 메모가 중요하며, 소속 기관이나 학술지의 AI 도움 관련 규정을 확인하고 요구되는 경우 공개해야 합니다. 상용 탐지기도 그 뒤로 달라졌습니다. 턴잇인은 휴머나이저 글도 잡을까?를 참고하세요.

Academic Humanizer의 위치

Academic Humanizer는 이 연구의 교훈을 반대 방향으로 적용합니다. 탐지기가 표면 패턴에 반응하므로, 중요한 것은 지키면서 가능한 한 적게 바꾸는 것이 목표입니다. Humanizer는 탐지기가 표시한 문장만 다시 쓰고, 나머지는 쓴 그대로 두며, 주장, 수치, 단서 표현, 인용을 제자리에 둡니다. AI Detection Report는 표시된 각 문장을 재작성 문장과 짝지어 보여 주므로, 결과를 사용하기 전에 한 줄씩 의미를 확인할 수 있습니다.