AI 탐지기는 속일 수 있을까? SICO와 프롬프트 기반 회피 해설

별도의 패러프레이즈 모델 없이 프롬프트만으로 AI 탐지기를 속일 수 있을까요? Transactions on Machine Learning Research에 실린 2024년 논문은 '그렇다'고 답합니다. 이 논문의 방법인 SICO는 사람이 쓴 예시 수십 개로 프롬프트를 만들며, 저자들의 테스트에서 탐지기 여섯 개를 거의 동전 던지기 수준의 성능으로 떨어뜨렸습니다.

2025년 NeurIPS 논문은 더 나아가 탐지기 자체의 점수로 패러프레이저를 토큰 단위로 조종했습니다. 두 논문을 함께 읽으면 영리한 요령보다 탐지기 설계에 내재한 구조적 약점이 더 잘 보입니다. 이 글에서는 두 논문과 그 함의를 설명합니다.

SICO가 하는 일, 쉽게 말하면

SICO는 Substitution-based In-Context example Optimization(치환 기반 인컨텍스트 예시 최적화)의 약자입니다. DIPPER 패러프레이저 같은 이전의 회피 연구는 AI 텍스트를 고쳐 쓰는 별도 모델을 학습시켰습니다. SICO는 다른 질문을 던집니다. 대형 모델이 예시를 잘 따른다면, 프롬프트 안의 적절한 예시로 같은 일을 할 수 있지 않을까?

큰 틀에서 이 방법은 세 부분으로 이루어집니다.

• 차이 설명하기. 같은 작업에 대한 AI 답변과 사람 답변 쌍을 모델에 보여 주고, 사람의 글을 구별 짓는 특징을 설명하게 합니다.
• 예시 다듬기. 단어 수준의 유의어 치환과 문장 수준의 바꿔 쓰기로 인컨텍스트 예시를 여러 차례 개선합니다. 대리 탐지기가 후보마다 점수를 매기고, 의미가 비슷하게 유지된다는 제약 안에서 예시를 덜 기계적으로 보이게 하는 변경만 남깁니다.
• 프롬프트 재사용. 완성된 프롬프트(특징 설명, 작업 지시, 다듬은 예시)는 같은 작업의 새 입력에 그대로 쓸 수 있습니다.

준비 비용은 저렴합니다. 저자들은 사람이 쓴 예시 40개와 제한된 횟수의 모델 호출만 필요했으며, 추산으로 GPT-3.5 API 사용료 약 1달러였다고 보고합니다. SICO에는 두 가지 형태가 있습니다. SICO-Gen은 작업 결과물을 직접 쓰고, SICO-Para는 기존 AI 출력을 고쳐 씁니다. "write like a human"(사람처럼 써 줘) 같은 단순한 지시는 이야기가 다릅니다. 단순한 프롬프트가 대개 실패하는 이유를 참고하세요.

테스트 방법

실험은 GPT-3.5로 세 가지 작업을 수행했습니다. 학술 에세이 작성(SQuAD 데이터셋의 Wikipedia 문단 완성), 개방형 질의응답(ELI5 질문), 가짜 Yelp 리뷰입니다. 작업마다 AI 생성 텍스트 200개와 사람이 쓴 텍스트 200개를 썼습니다.

테스트한 탐지기는 여섯 개입니다. GPT-3.5 텍스트로 미세 조정한 RoBERTa 모델(최적화 과정의 대리 탐지기이기도 함), OpenAI의 GPT-2 출력 탐지기, GPTZero, OpenAI AI 텍스트 분류기, DetectGPT, 그리고 로그 순위 방법입니다. SICO는 DIPPER와 직접 작성한 "make it sound human"(사람처럼 들리게 해 줘) 프롬프트를 포함한 네 가지 패러프레이즈 기준선과 비교되었습니다.

탐지기 성능은 AUC로 측정했습니다. 1.0은 AI 텍스트와 사람 텍스트를 완벽하게 구분한다는 뜻이고, 0.5는 우연보다 나을 것이 없다는 뜻입니다.

결과가 보여 주는 것

SICO는 모든 설정에서 모든 기준선을 앞섰고, 대부분의 경우 탐지기 AUC를 0.5 아래로 떨어뜨렸습니다. 학술 글쓰기 작업에서 하락 폭이 컸습니다.

• DetectGPT, 원본0.834
• DetectGPT, SICO-Para0.149
• GPTZero, 원본0.779
• GPTZero, SICO-Para0.290
• GPT-3.5 탐지기, 원본0.908
• GPT-3.5 탐지기, SICO-Para0.239

출처: Lu et al. 2024, Table 1(글쓰기 작업). AUC 0.5는 무작위 추측과 같습니다.

AUC가 0.5보다 한참 낮다는 것은 탐지기가 SICO 텍스트를 실제 사람 텍스트보다 더 사람답다고 순위를 매겼다는 뜻입니다. 비교하자면 같은 작업에서 DIPPER는 GPTZero를 0.689까지 낮추는 데 그쳤습니다.

품질도 유지되었습니다. 글쓰기 작업의 사람 평가에서 SICO-Gen 텍스트는 가독성 3.84점으로 사람 텍스트의 3.92점에 근접했고, 작업 완수율은 93.6%로 사람 필자의 98.2%와 비교되었습니다. DIPPER의 작업 완수율은 70.6%였습니다.

저자들은 방어책도 시험했습니다. 원래 탐지기에 SICO 텍스트로 학습한 두 번째 탐지기를 짝지어 더 높은 점수를 취하자, GPT-2 탐지기의 SICO-Para 글쓰기 AUC가 0.332에서 0.762로 올랐고 일반 AI 텍스트에서의 손실은 거의 없었습니다.

Adversarial Paraphrasing: 탐지기 자체로 조종하기

이 논문을 쓴 메릴랜드 대학교 연구팀은 타당한 관찰에서 출발했습니다. 최신 탐지기, 특히 패러프레이즈된 텍스트로 학습한 탐지기는 단순한 패러프레이즈로 속이기가 더 어려워졌다는 것입니다. 이들의 테스트에서 단순 패러프레이즈는 오탐률 1% 기준 진양성률을 RADAR에서 8.57%, Fast-DetectGPT에서 15.03% 오히려 높였습니다.

이들의 방법은 학습이 필요 없습니다. 기성 지시 모델(이들의 설정에서는 LLaMA-3-8B)이 텍스트를 패러프레이즈하고, 단계마다 탐지기가 다음 토큰 후보에 점수를 매겨 가장 AI 같지 않아 보이는 후보를 고릅니다. 저자들은 이를 한 토큰 깊이의 탐지기 유도 탐색이라고 설명합니다.

OpenAI RoBERTa-Large 탐지기의 유도를 받은 이 공격은 오탐률 1% 기준 진양성률을 RADAR에서 64.49%, Fast-DetectGPT에서 98.96% 낮췄고, 신경망 분류기, 워터마크, 제로샷 방법을 아우르는 탐지기 여덟 개에서 평균 87.88% 낮췄습니다. 핵심어는 전이입니다. 탐지기 하나를 상대로 최적화했는데 완전히 다른 유형의 탐지기들까지 약해졌습니다. 저자들은 텍스트 품질 저하가 대체로 경미했다고 보고하며, 그 상충 관계를 명시적으로 분석합니다.

이 연구가 탐지기 견고성에 대해 말해 주는 것

방법의 이름을 걷어 내면 두 논문은 같은 이야기를 합니다. 탐지기는 두 텍스트 분포 사이의 경계를 학습한 분류기입니다. 탐지기, 또는 그럴듯한 대용품에 질의할 수 있는 것이라면 무엇이든 그 경계가 어디 있는지 알아낼 수 있습니다. SICO는 프롬프트 예시 몇 개로, Adversarial Paraphrasing은 토큰별 선택으로 이를 해냈습니다. 둘 다 탐지기의 내부 구조는 필요하지 않았습니다.

여기서 세 가지 실질적인 결과가 나옵니다.

• 탐지는 군비 경쟁이 됩니다. SICO의 앙상블이나 적대적 학습 같은 방어책은 알려진 공격에는 도움이 되지만, 새로운 공격이 나올 때마다 경계는 다시 움직입니다.
• 전이가 있으므로 다르다는 이유만으로 안전한 탐지기는 없습니다. 한 모델을 상대로 한 최적화가 다른 모델들을 약화시켰으며, 이는 RAID 벤치마크의 더 넓은 그림과도 일치합니다.
• 겉모습은 저작이 아닙니다. 의미를 보존하는 작은 변경으로 판정이 뒤집힌다면, 그 판정은 누가 생각했는지가 아니라 문체 통계를 추적하고 있었던 것입니다. 신중한 사람 필자, 특히 영어 비원어민 필자가 표시되는 이유도 같습니다.

그렇다고 과제 규정을 피해 가는 것이 정당해지지는 않습니다. 두 논문 모두 자신들의 작업을 탐지 기술이 개선될 수 있도록 약점을 드러내는 스트레스 테스트로 규정합니다. 학업이나 연구에 AI 도구를 쓴다면, 정직한 방법은 소속 기관이나 학술지의 정책을 따르고, 필요한 경우 공개하고, 작업 과정이 드러나도록 초안을 보관하는 것입니다.

Academic Humanizer의 역할

연구자에게 이 연구들이 주는 유용한 교훈은 의미와 탐지기 판정이 서로 어긋날 수 있다는 점입니다. Academic Humanizer는 의미를 고정하는 데 중점을 두고 만들어졌습니다. Humanizer는 탐지기가 표시한 문장만 고쳐 쓰고, 주장, 숫자, 용어, 인용을 보존하며, 사람 글로 읽히는 문장은 건드리지 않습니다. Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling, Originality.ai로 검증하며, AI 탐지 리포트는 고쳐 쓴 문장을 원문 옆에 보여 주어 모든 변경을 직접 승인할 수 있게 합니다.