어떤 문장이 AI로 걸릴까? 문장 단위 AI 탐지 해설

AI 탐지기는 사람이 보통 쓰는 것보다 예측 가능해 보이는 문장을 표시하며, 단골은 뻔한 도입부, 안내 문장, 요약 문장입니다. 문장 단위 AI 탐지는 각 문장(또는 짧은 문장 묶음)에 따로 점수를 매긴 뒤 이를 합쳐 문서 결과를 냅니다. 문서 단위 탐지는 텍스트 전체에 한 번에 점수를 매깁니다. 실제 원고 대부분은 섞여 있기 때문에, 도구가 표시된 몇 문장을 어떻게 합산하느냐가 전체 판정을 좌우할 수 있습니다.

내 원고에서 어떤 문장이 AI로 표시되는지 알고 싶다면 문장 단위로 보아야 합니다. 이 글에서는 두 방식의 작동 원리, 몇 문장이 문서 전체를 뒤집을 수 있는 이유, 전부 고쳐 쓰는 것보다 그 문장만 고쳐 쓰는 편이 안전한 이유, 그리고 여러 탐지기를 결합하면 무엇이 달라지는지 설명합니다.

텍스트에 점수를 매기는 두 가지 방법

문서 단위 탐지기는 전체 구간을 읽고 숫자 하나를 돌려줍니다. 흔히 텍스트가 AI로 생성되었을 확률로 표현됩니다. 활용할 근거가 많아 추정치가 비교적 안정적입니다. 단점은 신호가 어디서 왔는지 알려 주지 못한다는 것입니다.

문장 단위 탐지기는 텍스트를 단위로 나누어 각각 점수를 매깁니다. 많은 도구가 표시된 단위를 강조하고, 그 단위가 차지하는 비율을 보고합니다. 이는 실제 글쓰기 방식에 더 가깝습니다. 사람들은 어떤 문단은 직접 쓰고, 어떤 문단은 모델의 도움을 받고, 양쪽 모두를 다듬습니다. 연구도 이 흐름을 따라왔습니다. EMNLP 2023에서 발표된 SeqXGPT는 사람이 쓴 문장과 AI가 수정한 문장이 섞인 문서 데이터셋을 만들었고, 기존 방법은 문장 단위에서 고전한 반면 자신들의 방법은 문장과 문서 단위 모두에서 잘 작동했다고 보고했습니다(Wang et al., EMNLP 2023).

We expected attendance to fall after the fee change, and in two of the three districts it did. These findings highlight the important role that economic factors play in shaping educational outcomes. The third district is the puzzle: attendance rose by four points, and the head teachers we interviewed credited a bus route that opened the same term. This suggests that transport access may moderate the effect of fees. Overall, the results underscore the need for a comprehensive approach to policy design.

다섯 문장 중 두 문장이 표시되고 한 문장은 경계선에 있습니다. 문서 점수라면 이를 숫자 하나로 뭉뚱그렸을 것입니다.

예시에서 어떤 문장이 표시되었는지 보세요. 거의 어떤 논문의 마무리에도 쓸 수 있는 일반적인 요약 문장들입니다. 구체적인 장소, 숫자, 이름 붙은 원인이 담긴 문장은 사람이 쓴 글로 읽힙니다. 이 패턴은 흔하고 유용합니다. 수정에 힘을 쏟아야 할 곳을 정확히 알려 주기 때문입니다.

문장 하나의 점수에 따르는 잡음 문제

문장 점수는 유익하지만 개별적으로는 불확실합니다. 문장 하나에는 토큰이 적어서, 예측 가능성 추정이 빈약한 근거에 기댈 수밖에 없습니다. 많은 도구가 겹치는 구간 단위로 점수를 매겨 이를 보완하므로, 한 문장의 판정은 부분적으로 주변 문장에 좌우됩니다.

Turnitin은 이 효과를 공개적으로 밝혀 왔습니다. 오탐률에 관한 글에서 문장 단위 오탐률이 약 4%라고 설명했고, 오탐 문장의 54%가 실제 AI 글 바로 옆에 있었다고 보고했습니다(Turnitin). 다시 말해 표시된 문장 근처의 사람 문장도 표시될 가능성이 더 높습니다.

실용적으로 해석하면 이렇습니다. 강조된 문장 하나는 결론이 아니라 살펴보라는 신호로 받아들이세요. 문단 전체에 걸친 패턴이 어느 한 줄보다 의미가 큽니다.

몇 문장이 문서 전체를 뒤집는 이유

모든 도구는 문장 점수를 문서 판정으로 바꿔야 하고, 어떤 규칙을 쓰느냐는 대부분의 사용자가 생각하는 것보다 중요합니다. 흔한 방식으로는 문장 점수의 평균, 임계값을 넘은 문장의 비율, 또는 그 비율에 대한 별도 임계값이 있습니다. 비율 기반 규칙에서 20문장짜리 초록에 표시된 문장이 넷이면 20%이고, 이는 보고 기준선을 넘을 수도 넘지 않을 수도 있습니다. 그중 두 문장을 고치면 비율은 절반이 됩니다.

문장이 몰려 있는지도 중요합니다. 구간 단위 점수에서는 이웃 문장이 서로 영향을 주므로, 일반적인 문장 세 개가 연달아 있으면 네 번째의 사람 문장까지 기준선 너머로 끌어당길 수 있습니다. 그 묶음을 깨면 이웃 문장은 저절로 통과하는 경우가 많습니다. 적절한 곳의 적은 수정이 고르게 퍼진 많은 수정보다 문서 결과를 더 크게 바꿀 수 있는 이유입니다.

학술 글에서 흔한 원인은 뻔합니다. 도입부의 배경 문장, 안내 문장("This section discusses"), 마무리 요약입니다. 이런 문장을 고치는 방법은 AI처럼 들리는 문장 고치는 법에 정리해 두었습니다. 참고문헌 목록과 인용문은 별개의 경우입니다. 턴잇인이 참고문헌과 인용을 AI로 표시하는 이유를 참고하세요.

표시된 문장만 고쳐 써야 하는 이유

탐지가 문장 단위로 이루어진다면 수정도 그래야 합니다. 네 문장을 고치려고 문서 전체를 고쳐 쓰면 세 가지 대가를 치릅니다.

• 의미가 바뀔 위험은 고친 범위에 비례합니다. 고쳐 쓴 문장마다 완곡 표현, 숫자, 인용 연결이 사라질 수 있습니다. 4문장을 고치면 변질될 기회가 네 번, 40문장을 고치면 마흔 번입니다. 의미와 인용을 지키는 법을 참고하세요.
• 내 목소리가 사라집니다. 사람이 쓴 글로 읽히는 문장은 대개 나만의 구체적인 관찰이 담긴 문장입니다. 전체를 고쳐 쓰면 이런 문장이 밋밋해집니다.
• 새로운 표시가 생길 수 있습니다. 모든 곳에 고쳐 쓰기를 적용하면 원래 문제없던 문장까지 획일적으로 보이게 되어 다른 곳의 점수가 올라갈 수 있습니다.

1. 문장마다 점수 매기기어떤 단위가 기계처럼 읽히고 어떤 단위가 이미 사람처럼 읽히는지 찾습니다.
2. 사람 문장은 그대로 두기쓴 그대로, 한 글자도 바꾸지 않고 돌려줍니다.
3. 표시된 문장 고쳐 쓰기주장, 숫자, 인용, 용어는 유지하면서 구조와 리듬을 바꿉니다.
4. 맥락 안에서 다시 점수 매기기이웃 문장이 점수에 영향을 주므로, 새 문장을 문단 전체 안에서 확인합니다.
5. 필요하면 반복하기여전히 표시된 문장은 한 번 더 손봅니다.

여러 탐지기 결합하기

탐지기마다 학습 데이터, 임계값, 분석 단위가 달라서 같은 문장을 두고도 의견이 갈리는 경우가 많습니다(이유는 AI 탐지기 결과가 서로 다른 이유에서 다룹니다). 여러 탐지기를 결합하면 문장에서 문서로 넘어갈 때와 비슷한 설계 문제가 생깁니다. 탐지기 하나만 표시해도 표시된 문장으로 칠 것인가, 아니면 대다수가 표시해야 칠 것인가입니다.

Liang 등의 연구는 이 선택이 얼마나 중요한지 보여 줍니다. 사람이 쓴 TOEFL 에세이를 탐지기 일곱 개로 검사한 결과, 97.8%가 적어도 하나의 탐지기에서 표시되었고 19.8%는 일곱 개 모두에서 표시되었습니다(Liang et al., Patterns 2023).

• 탐지기 하나 이상이 표시97.8%
• 탐지기 평균61.3%
• 일곱 개 모두 표시19.8%

출처: Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

같은 에세이, 같은 탐지기인데 숫자는 세 가지로 크게 다릅니다. 엄격한 '하나라도' 규칙은 AI 텍스트를 놓치지 않으려 조심하지만, 여기서는 사람이 쓴 에세이를 거의 모두 표시합니다. '만장일치' 규칙은 사람 필자에게 너그럽지만 더 많이 놓칩니다. 어느 쪽도 늘 옳지는 않습니다. 중요한 것은 리포트가 어떤 규칙을 쓰는지 알고 그 점을 감안해 읽는 것입니다. 필자 입장에서는 원고를 여러 탐지기로 확인하는 편이 점수 하나를 믿는 것보다 정직한 그림을 줍니다. 도구들이 어디서 일치하고 어떤 표시가 잡음일 가능성이 높은지 보여 주기 때문입니다.

Academic Humanizer가 문장 단위 점수를 활용하는 방식

Academic Humanizer의 Humanizer는 이 문장 단위 논리 위에 만들어졌습니다. 원고에서 AI 탐지기가 표시하는 문장을 찾아 그 문장만 고쳐 쓰고, 이미 사람 글로 읽히는 문장은 쓰신 그대로 돌려줍니다. 표시된 문장이 없으면 결과는 입력과 같고 크레딧도 차감되지 않습니다. AI 탐지 리포트는 표시된 문장마다 고쳐 쓴 문장을 짝지어 보여 주고, 사람 글로 읽히는 문장 비율이라는 같은 기준으로 초안과 결과를 비교하며, 결과는 Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling, Originality.ai로 확인합니다. 아직 표시된 문장이 남아 있으면 리포트가 알려 주므로 해당 구간을 다시 실행할 수 있습니다.