AI 탐지기는 비원어민 영어를 AI로 판정할까? 실제 테스트

AI 탐지기는 비원어민의 영어 글을 AI로 판정할까요? 발표된 연구는 자주 그렇다고 말하지만, 실제 연구자가 직접 쓴 고찰 문단으로 한 저희 테스트에서는 그렇지 않았습니다. 정형화된 표현, 제한된 연결어, 교과서식 문장 패턴은 탐지기가 불이익을 준다고 의심받는 바로 그 특징입니다. 그래서 재료과학 분야의 비원어민 연구자가 직접 쓴 문단, 바로 그런 걱정의 대상이 되는 글을 테스트했습니다.

결과는 극적이지 않았고, 바로 그 점이 핵심입니다. 탐지 모델 다섯 중 넷이 사람 글로 판정했고, 표시된 문장은 없었으며, Humanizer v2는 아무것도 바꾸지 않았고, 비용도 들지 않았습니다.

이 텍스트가 위험해 보였던 이유

탐지기의 눈으로 읽어 보세요. 문장들이 "In this study, we found that", "It is considered that", "Therefore, it is important to", "These results suggest that" 같은 상투적인 틀로 시작합니다. 어휘는 좁고 반복됩니다. 문법에는 영어를 제2 언어로 배운 사람의 흔적이 남아 있습니다. "The reason of this improvement", "the tensile strength was decreased", "for obtaining the best mechanical properties" 같은 표현입니다.

이런 걱정의 근거가 된 연구는 실재합니다. 스탠퍼드의 Liang 등은 비원어민이 TOEFL용으로 쓴 에세이를 널리 쓰이는 GPT 탐지기 일곱 개에 넣었고, 평균 오탐률이 61.22%라는 결과를 얻었습니다. 이 에세이의 97.80%는 적어도 하나의 탐지기에서 AI 생성으로 표시되었습니다. 이 논문은 GPT 탐지기는 비원어민 필자에게 편향되어 있다에서 요약했습니다.

그러니 적어도 몇 문장은 표시되리라 예상하는 것이 타당했습니다. 하지만 결과는 달랐습니다.

탐지기의 판정

초안에 대한 리포트 판정은 사람 작성이었습니다. 탐지 모델 다섯 중 넷이 사람, 하나가 AI로 판정했습니다. 문장 단위로는 아홉 문장 모두 사람 글로 읽혔고, 표시된 문장도 판정 불가 문장도 없었습니다.

In this study, we found that the addition of 2 wt% graphene oxide improved the tensile strength of the epoxy composite by 27% compared to the neat epoxy. This result is consistent with the previous studies which reported similar improvement in the range of 20-35%. The reason of this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength was decreased. It is considered that the agglomeration of graphene oxide sheets occurred at higher content, and these agglomerates acted as stress concentration points. This tendency was also confirmed by the SEM images, which showed the clusters of sheets on the fracture surface. Therefore, it is important to optimize the filler content for obtaining the best mechanical properties. In addition, the glass transition temperature was slightly increased from 142 to 147 degrees, which means the mobility of polymer chains was restricted by the graphene oxide. These results suggest that the graphene oxide/epoxy composite can be a promising material for the lightweight structural applications.

테스트 실행의 실제 검사 결과입니다. 아홉 문장 모두 사람 글로 읽혔습니다.

• 원문 문단5개 중 1개
• Humanizer v2 결과(변경 없음)5개 중 1개

출처: Humanizer v2 실서비스 실행. 같은 텍스트, 같은 판정.

Humanizer v2가 한 일: 의도적으로 아무것도 하지 않음

Humanizer v2는 탐지기가 표시한 문장만 고쳐 씁니다. 표시된 문장이 없으니 고쳐 쓸 것도 없었고, 출력은 입력과 한 글자도 다르지 않습니다.

1. AI 신호 검사아홉 문장을 검사했고, 표시된 문장 없이 아홉 문장 모두 사람 글로 읽혔습니다.
2. 표시된 문장 고쳐 쓰기고쳐 쓸 문장이 없어 바뀐 문장도 0개.
3. AI 탐지기로 재검사같은 텍스트, 같은 결과: 사람 작성, 다섯 모델 중 넷이 사람으로 판정.
4. 결과 저장변경이 없는 실행은 0크레딧입니다. 변경이 있었다면 1,235자는 3크레딧입니다.

비원어민 필자에게 가장 중요한 것이 바로 이 동작입니다. 모든 문장을 패러프레이즈하는 도구였다면 이 저자의 문장을 다른 사람의 문장으로 바꾸고, 탐지기가 반응할 수도 있는 새로운 표현을 들여오고, 그 대가로 비용까지 받았을 것입니다. 사람이 쓴 글을 그대로 두는 것은 빠진 기능이 아니라 설계 그 자체입니다.

이 결과를 신중하게 읽기

테스트 문단 하나가 출간된 연구를 뒤집지는 못하며, "이제 탐지기가 비원어민 글을 문제 삼지 않는다"로 읽어서도 안 됩니다. 주의할 점이 세 가지 있습니다.

• 의견 불일치는 실제로 있었습니다. 다섯 모델 중 하나는 AI로 판정했습니다. 그 모델처럼 동작하는 도구 하나로만 확인했다면, 사람이 쓴 글에 AI 판정이 나온 것을 보았을 것입니다. Liang 등이 기록한 바로 그 패턴이며, 저희가 모델 하나를 믿는 대신 여러 모델을 비교하는 이유입니다. AI 탐지기 결과가 서로 다른 이유를 참고하세요.
• 고찰 섹션에는 구체적인 내용이 담깁니다. 이 문단에는 구체적인 값(2 wt%, 27%, 20-35%, 3 wt%, 142 to 147 degrees)과 이름 붙은 근거(SEM 이미지, 파단면)가 가득합니다. 특정 결과에 묶인 텍스트는 TOEFL 연구에서 쓰인 짧고 일반적인 에세이와 다르게 읽힐 수 있습니다.
• 여러분의 텍스트는 이 텍스트가 아닙니다. 더 일반적인 틀로 쓴 문단이라면 표시될 수 있습니다. 리포트는 점수 하나보다 유용하게 문장 단위로 알려 줍니다.

문법은 별개의 작업입니다

사람 글로 판정되는 것과 학술지에 낼 준비가 된 것은 다릅니다. 이 문단에는 여전히 교열자가 표시할 오류가 있으며, 이를 고치는 것은 휴머나이저의 몫이 아닙니다. 휴머나이저의 일은 탐지기가 표시한 문장을 바꾸는 것이고, 이미 사람 글로 읽히는 문장은 오류까지 포함해 건드리지 않습니다.

수정 전

The reason of this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength was decreased. In addition, the glass transition temperature was slightly increased from 142 to 147 degrees, which means the mobility of polymer chains was restricted by the graphene oxide.

수정 후

The reason for this improvement can be explained by the good dispersion of graphene oxide sheets in the matrix and the strong interfacial bonding between the oxygen functional groups and the epoxy chains. However, when the content was increased to 3 wt%, the tensile strength decreased. In addition, the glass transition temperature was slightly increased from 142 to 147 °C, which means the mobility of polymer chains was restricted by the graphene oxide.

마지막 수정은 값의 단위가 섭씨라고 가정한 것입니다. 단위는 저자만 알고, 원문에는 빠져 있습니다. 다른 수정 후보로는 "the previous studies which reported"("the" 삭제), "for the lightweight structural applications"("the" 삭제), 그리고 많은 학술지가 "We attribute this to"로 바꿀 "It is considered that"이 있습니다.

실용적인 팁 하나. 이 문단을 AI 문법 교정이나 다듬기 도구에 넣으면, 수정본이 원문과 다르게 탐지기에 읽힐 수 있습니다. 수정 후에는 다시 검사하세요. 리포트에는 이런 경우를 위한 판정인 '사람 작성 및 AI 다듬음'(Human-written & AI-refined)이 있어 현재 상태를 확인할 수 있습니다. 어떤 도구가 어떤 일을 하는지는 휴머나이저, 패러프레이저, 문법 검사기 비교에서 설명합니다.

비원어민 영어 연구자에게 주는 의미

격식 있고 정형화된 문체로 직접 초안을 쓴다면, 오탐 위험은 실재하지만 확정된 것은 아닙니다. 올바른 대응은 미리 고쳐 쓰는 것이 아니라 확인하는 것입니다. 사람이 쓴 글을 '더 사람답게' 보이려고 고쳐 쓰면 오히려 상황이 나빠질 수 있습니다.

Academic Humanizer는 이 점을 염두에 두고 만들어졌습니다. 원고를 검사하고, 탐지기가 표시한 문장만 고쳐 쓰고, 직접 쓴 문장은 손대지 않은 채 돌려주며, 바뀐 것이 없으면 비용을 받지 않습니다. 이미 표시를 받았다면 AI로 잘못 판정받았을 때 대처법을 다음으로 읽어 보세요.