턴잇인은 QuillBot을 잡을까? 패러프레이징이 실패하는 이유

잡는 경우가 많습니다. 원래 AI 출력이었던 텍스트라면, Turnitin은 이제 아래에서 설명하듯 QuillBot식 패러프레이징을 별도 범주로 보고합니다. 패러프레이징 도구가 AI 탐지에서 대체로 실패하는 이유는 단순합니다. 도구는 단어를 바꾸지만, 탐지기는 단어보다 위 수준의 패턴에 반응합니다. 유의어 치환 도구는 모든 문장에서 "significant"를 "notable"로 바꿀 수 있지만, 문장 길이, 절의 순서, 리듬, 전반적인 예측 가능성은 거의 그대로 둡니다. 점수를 움직일 만큼 바꿀 때는 그 과정에서 의미나 용어를 망가뜨리는 경우가 많습니다.

탐지기 업체들도 직접 대응했습니다. Turnitin의 문서는 이제 AI가 생성한 뒤 AI 패러프레이징 도구나 워드 스피너로 수정되었을 가능성이 있는 텍스트를 위한 별도 범주를 설명하며, 그 예로 QuillBot을 언급합니다(Turnitin 가이드). 이 글에서는 탐지기가 실제로 무엇에 반응하는지, 스피너가 왜 고전하는지, 의미를 보존하는 선택적 수정이 어떻게 다른지 설명합니다.

탐지기가 실제로 반응하는 것

탐지기는 'AI 단어' 목록을 갖고 있지 않습니다. 언어 모델에게 텍스트가 얼마나 예측 가능한지, 그 예측 가능성이 문장 전체에 얼마나 고르게 퍼져 있는지, 그리고 학습된 분류기라면 예시에서 배운 여러 미묘한 규칙성에 점수를 매깁니다. 방법은 AI 탐지기의 작동 원리에서 자세히 다루지만, 여기서는 세 가지 신호가 가장 중요합니다.

• 예측 가능성. 다음 토큰이 모델이 골랐을 법한 것처럼 보이는가? 형용사 하나를 비슷한 유의어로 바꿔도 토큰의 가능도는 대개 비슷하게 유지됩니다.
• 구조. 주제문, 뒷받침하는 절, "This suggests that"으로 시작하는 요약. 틀에 맞춘 문단은 단어 수준 편집 후에도 뼈대가 그대로 남습니다.
• 리듬. 문단 전체에 걸쳐 균일하게 유지되는 문장 길이와 절 패턴. 스피너는 문장을 나누거나 합치는 일이 드뭅니다.

즉 스피너는 탐지기가 가장 덜 중시하는 한 층에서만 작업하고, 가장 중시하는 층은 그대로 둡니다.

유의어 치환이 역효과를 내는 이유

전형적인 스피너는 맥락을 거의 고려하지 않고 유의어 사전이나 작은 모델에서 대체어를 고릅니다. 학술 텍스트에서는 이것이 두 가지 문제를 동시에 일으킵니다.

첫째, 의심을 줄이기는커녕 키울 수 있습니다. 틀에 박힌 문장 속의 어색한 단어 선택은 그 자체로 하나의 패턴이며, 학습된 분류기는 이를 배울 수 있습니다. Turnitin 같은 도구가 패러프레이즈 범주를 따로 보고할 수 있는 것도 그래서입니다.

둘째, 용어를 망가뜨립니다. 연구 분야는 "confidence interval", "random forest", "informed consent", "grounded theory" 같은 고정된 용어에 의존합니다. 유의어 사전은 이런 용어가 고정되어 있다는 것을 모릅니다. Cabanac, Labbé, Magazinov는 출간된 논문에서 이런 손상을 기록하고 "tortured phrases"(뒤틀린 구문)라고 이름 붙였으며, "artificial intelligence"를 "counterfeit consciousness"로 바꾼 사례를 들었습니다(Cabanac et al., 2021). 이들은 이런 구문이 한 기성 학술지의 초록에 몰려 있음을 발견했는데, 이는 그런 치환이 전문가 독자의 눈에 얼마나 잘 띄는지 보여 줍니다.

수정 전

We fitted a random forest model and report the mean absolute error on the held-out test set.

수정 후

We fitted a haphazard woodland model and report the average total blunder on the kept-back test set.

문장 구조도, 리듬도 똑같습니다. 바뀐 것은 용어뿐이고, 바뀐 것은 모두 틀렸습니다. 심사자라면 여기서 읽기를 멈출 것입니다.

더 강한 패러프레이즈가 점수를 움직일 때

더 강력한 패러프레이저도 있으며, 연구에 따르면 탐지율을 크게 낮출 수 있습니다. Krishna 등은 내용의 순서를 바꾸고 표현을 다양하게 바꾸되 강도를 조절할 수 있는 패러프레이저 DIPPER를 학습시켰습니다. 이를 이용한 패러프레이즈는 오탐률 1% 기준 DetectGPT의 탐지율을 70.3%에서 4.6%로 떨어뜨렸고, 워터마크 기반 탐지기와 상용 탐지기에도 타격을 주었습니다(Krishna et al., NeurIPS 2023). Sadasivan 등은 패러프레이저를 여러 번 연달아 적용하는 반복 패러프레이즈로 한발 더 나아갔습니다(Sadasivan et al., TMLR).

• 원래 모델 출력70.3%
• DIPPER 패러프레이즈 후4.6%

출처: Krishna et al., "Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense", NeurIPS 2023

이 연구들에서 학술 글을 쓰는 사람에게 중요한 세부 사항이 두 가지 있습니다. 효과가 있었던 패러프레이저는 어휘만이 아니라 구조와 순서를 바꿨으며, 이는 앞의 논점을 뒷받침합니다. 또 이들은 일반 텍스트로 평가된 연구용 모델이었고, 패러프레이즈는 의미만 대체로 비슷하게 유지하면 되었습니다. 학술 논문은 제약이 더 엄격합니다. 완곡 표현, 단위, 인용이 절 하나만 옮겨 가도 논문의 주장이 바뀔 수 있습니다. 탐지기도 적응합니다. Krishna 등은 같은 논문에서 검색 기반 방어책을 제안했고, RAID 벤치마크는 공격과 설정에 따라 탐지 결과가 크게 요동친다는 것을 보여 줍니다(Dugan et al., ACL 2024). 더 자세한 내용은 DIPPER 논문 해설을 참고하세요.

Turnitin은 QuillBot 패러프레이징을 탐지할까?

AI로 생성한 텍스트라면 Turnitin은 그렇다고 답합니다. AI 글쓰기 리포트 가이드는 AI로 생성된 뒤 AI 패러프레이징 도구나 단어 치환기로 수정되었을 가능성이 높은 텍스트를 위한 별도 강조 표시를 설명하며, 예로 QuillBot을 듭니다. 2025년 8월부터는 AI 우회 도구를 거친 텍스트도 찾습니다. 두 검사 모두 영어 제출물에만 적용됩니다.

처음부터 그랬던 것은 아닙니다. 2023년 Weber-Wulff 연구팀의 테스트에서 기본 설정의 QuillBot을 한 번 거친 ChatGPT 텍스트는 Turnitin을 포함한 도구 14종 평균으로 26%만 올바르게 분류되었습니다. Turnitin의 패러프레이징 범주는 그 뒤인 2024년 7월 업데이트에서 나왔습니다.

알아 둘 한계가 두 가지 있습니다.

• Turnitin은 이 범주를 먼저 AI로 생성된 텍스트에 대해 설명합니다. 사람이 쓴 글을 패러프레이저에 돌린 경우의 수치는 공개하지 않습니다.
• 강조 표시는 예측입니다. Turnitin은 AI 점수를 학생에 대한 조치의 유일한 근거로 삼아서는 안 된다고 말합니다.

휴머나이저도 다른 형태로 같은 질문을 던집니다. 턴잇인은 휴머나이저 글도 잡을까?를 참고하세요.

진짜 대가: 의미 변질

문서 전체를 패러프레이즈하면 모든 문장이 대상이 됩니다. 직접 쓴 문장, 어떤 탐지기도 표시하지 않은 문장, 정확한 주장을 담은 문장까지 포함됩니다. 도구가 고쳐 쓰는 텍스트가 많을수록 다음과 같은 일이 생길 기회도 많아집니다.

• "may be associated with"(연관이 있을 수 있다)가 "causes"(일으킨다)가 됩니다(완곡 표현 변질).
• 인용이 뒷받침하던 주장에서 멀어집니다.
• 0.047이 "about 0.05"로 반올림되거나 단위가 빠집니다.
• 정의된 용어가 더 느슨한 일상어로 바뀝니다.

이런 변화는 빠르게 읽으면 놓치기 쉽고, 동료 심사에서는 대가가 큽니다. 탐지 도구 14개를 시험한 Weber-Wulff 등은 수작업 편집과 기계 패러프레이즈를 포함한 내용 흐리기가 도구 성능을 크게 떨어뜨린다는 것을 발견했습니다(Weber-Wulff et al., 2023). 이 결과는 패러프레이즈해야 하는 이유로 자주 인용됩니다. 반대로 읽어 보세요. 탐지가 그만큼 불안정하다면, 확실하게 통제할 수 있는 유일한 것은 논문이 여전히 내가 뜻한 바를 말하고 있느냐입니다. 검토 쪽 이야기는 휴머나이징할 때 의미와 인용을 지키는 법에서 다룹니다.

의미를 보존하는 선택적 고쳐 쓰기는 무엇이 다른가

더 나은 방식은 텍스트 전체가 아니라 탐지기가 원고를 보는 관점에서 출발합니다. 모든 문장을 고쳐 쓰는 대신, 어떤 문장이 실제로 기계처럼 읽히는지 묻고 그 문장만 다룹니다.

1. 검사문장마다 점수를 매겨 탐지기가 표시하는 문장을 찾습니다.
2. 고정숫자, 단위, 인용, 완곡 표현, 분야 용어를 고정 요소로 표시합니다.
3. 표시된 문장만 고쳐 쓰기주장과 그 강도는 유지하면서 필요한 곳의 구조와 리듬을 바꿉니다.
4. 재검사새 버전을 원문과 같은 기준으로 평가합니다.
5. 저자 검토각 변경을 받아들이기 전에 원문과 나란히 읽습니다.

이 방식은 세 가지 점에서 스피너와 다릅니다. 어휘만이 아니라 탐지기가 반응하는 층(구조와 리듬)을 편집합니다. 사람 글로 읽히는 문장은 건드리지 않으므로 내 목소리가 유지되고 오류가 끼어들 범위가 좁아집니다. 그리고 수정 전후를 측정하므로, 짐작하는 대신 변경이 도움이 되었는지 확인할 수 있습니다.

그래도 이것은 수정 작업이지 마법이 아닙니다. 어떤 문장은 한 번 더 손봐야 하고, 모든 단어에 대한 책임은 여전히 저자에게 있습니다. 수업이나 학술지에 AI 지원에 관한 규정이 있다면 따르세요. 과제에 AI를 쓰기 전에 물어야 할 질문이 좋은 출발점이며, AI 휴머나이저, 패러프레이저, 문법 검사기 비교에서 도구 유형을 나란히 비교합니다.

Academic Humanizer의 접근 방식

Academic Humanizer는 선택적 모델을 따릅니다. Humanizer는 원고에서 AI 탐지기가 표시하는 문장을 찾아 그 문장만 고쳐 쓰고, 다른 문장은 모두 쓰신 그대로 돌려주며 논지, 숫자, 인용, 분야 용어를 제자리에 유지합니다. 표시된 문장이 없으면 결과는 입력과 같고 크레딧도 차감되지 않습니다. AI 탐지 리포트는 표시된 문장마다 고쳐 쓴 문장을 짝지어 보여 주고, Turnitin, GPTZero, Copyleaks, Originality.ai 같은 탐지기로 확인한 사람 글로 읽히는 문장 비율로 두 버전을 비교합니다. 최종 텍스트는 여전히 직접 읽고 승인합니다.