AI 초록 휴머나이징하는 법: 실제 전후 비교와 검토

AI로 초안을 쓴 초록을 망가뜨리지 않고 휴머나이징할 수 있을까요? 결과를 하나하나 다시 확인한다면 대체로 가능합니다. AI로 초안을 쓴 공중보건 분야 초록을 Humanizer v2로 실행하고, 탐지기 투표, 문장별 판정, 정확한 결과물까지 전체 기록을 남겼습니다. 초안에서는 탐지 모델 5개가 모두 AI로 판정했습니다. 결과물에서는 5개 중 4개가 사람으로 판정했고, 리포트 판정은 AI-generated에서 Human-written으로 바뀌었습니다.

여기까지가 핵심 결과입니다. 더 유용한 부분은 신중한 저자가 제출 전에 여전히 고쳐야 할 것들입니다. 재작성은 모든 수치를 지켰지만, 한 결과의 의미를 바꾸고 다른 결과의 문법을 망가뜨렸기 때문입니다.

초안: 일곱 문장, 일곱 개의 표시

이 초록은 대부분의 AI 도구가 요청받으면 만들어 내는 틀을 따릅니다. 위협 진술, 목적, 데이터, 주요 결과, 부차적 결과, 시사점, 기여 문장입니다. 매끄럽게 읽힙니다. 동시에 "pose a significant and growing threat", "underscore the critical importance", "contributes valuable insights to the growing body of literature" 같은 상투적인 표현에 기대고 있습니다.

탐지기들의 의견도 일치했습니다. 일곱 문장 모두 AI로 표시되었고, 전체 텍스트에 대해 다섯 모델 모두 AI로 판정했습니다. 리포트 판정은 AI-generated였습니다.

• AI로 쓴 초록5개 중 5개
• Humanizer v2 결과물5개 중 1개

출처: Humanizer v2 실서비스 실행. 서로 독립된 탐지 모델 5개가 전체 텍스트에 각각 한 표씩 투표했습니다.

파이프라인이 한 일

Humanizer v2는 탐지기가 표시한 문장만 다시 씁니다. 이번에는 모든 문장이 표시되었으므로 사실상 전체 재작성이었습니다. 약 13초가 걸렸습니다.

1. AI 신호 스캔일곱 문장이 모두 표시되었고, 다섯 모델 모두 AI로 판정했습니다.
2. 표시된 문장 재작성사람의 글로 읽힌 문장이 없었으므로 일곱 문장 모두 다시 쓰였습니다.
3. AI 탐지기로 재검사여섯 문장이 사람의 글로 읽히고 한 문장은 판정 보류이며, 다섯 모델 중 넷이 사람으로 판정합니다.
4. 결과 저장1,344자를 500자당 1크레딧으로 올림 계산: 3크레딧.

리포트의 주요 지표인 사람의 글로 읽힌 문장 비율은 7문장 중 0문장에서 7문장 중 6문장, 약 86%로 올랐습니다. 일곱 번째 문장은 표시되지는 않았지만 통과한 것도 아닙니다. 아래에서 다시 다룹니다.

수치는 살아남았을까?

네. 휴머나이징된 초록에서 가장 먼저 확인할 부분이므로, 각 사실을 초안과 대조했습니다.

• 214 census tracts(인구조사 구역 214개)가 그대로 있습니다.
• 38%가 그대로 있고, 여전히 녹지 비율 최하위 사분위와 최상위 사분위를 비교합니다.
• 2015 to 2022도 살아남았으며, 이제 "2015–2022"로 표기됩니다.
• 세 개의 중간 규모 도시와 세 가지 보정 변수(소득, 연령 구조, 기저 건강 상태)도 그대로입니다.

수치는 쉬운 부분입니다. 재작성의 위험은 수치를 둘러싼 단어, 즉 누가 무엇을 누구에게 얼마나 강하게 했는지에 있습니다.

의미가 바뀐 곳

두 문장은 제대로 살펴봐야 합니다. 첫 번째는 주요 결과이고, 두 번째는 부차적 결과인데 이쪽이 더 심각한 문제입니다.

수정 전

Our findings reveal that tracts in the lowest quartile of green space coverage experienced 38% more heat-related emergency visits than those in the highest quartile, even after adjusting for income, age structure, and baseline health status. Furthermore, the protective association of green space was most pronounced during multi-day heat waves, suggesting a cumulative cooling effect.

수정 후

We found that tracts in the bottom quartile of green space were visited by 38% more times due to heat stress than the top quartile even after controlling for income, age structure and baseline health status. Moreover, the positive associations between green space use and heat exposure were greatest in the context of prolonged heatwaves.

주요 결과 문장은 수치는 맞지만 문장이 망가졌습니다. "Were visited by 38% more times"는 문법에 맞지 않고, "heat-related emergency visits"가 "due to heat stress"로 바뀌면서 연구가 실제로 측정한 결과 변수가 빠졌습니다.

부차적 결과는 한꺼번에 세 가지 방식으로 의미가 바뀌었습니다.

• "Protective"가 "positive"가 되었습니다. 보호적 연관성(protective association)은 녹지가 많을수록 응급실 방문이 적다는 뜻입니다. 열 노출과의 "positive association"은 오히려 반대로 읽힙니다.
• 변수가 바뀌었습니다. 연구는 녹지 비율과 응급실 방문을 연결했습니다. 재작성 문장은 "green space use and heat exposure"를 말하는데, 연구는 녹지 이용을 측정한 적이 없습니다.
• 해석이 사라졌습니다. "Suggesting a cumulative cooling effect"가 없어졌습니다. 그 주장이 너무 강했다고 생각한다면 괜찮을 수도 있지만, 그것은 부작용이 아니라 저자가 내릴 결정이어야 합니다.

작은 변화도 살펴볼 만합니다. "Relationship"이 "correlation"이 되었는데, 이는 보정된 사분위 비교보다 좁은 개념입니다. "Green infrastructure"가 "green spaces"가 되어 가로수와 옥상 녹화가 빠졌습니다. "Hospital administrative records"가 "hospital-level administrative information"이 되어 병원 단위로 집계된 데이터처럼 읽힙니다. 그리고 마지막 문장은 초안의 "actionable evidence" 대신 "policy makers a source of action"을 제시합니다.

여전히 판정 보류인 문장

재검사가 결과물을 문장별로 어떻게 읽었는지 보겠습니다.

Urban heat islands are an increasing public health challenge, especially to the elderly and patients with chronic diseases. In this study, we investigate the correlation between green space coverage at the neighborhood level and heat-related emergency department visits in three mid-sized cities during the years 2015–2022. We obtained a comprehensive dataset containing 214 census tracts by integrating land surface temperature derived from satellite images with municipal data on tree canopies and hospital-level administrative information. We found that tracts in the bottom quartile of green space were visited by 38% more times due to heat stress than the top quartile even after controlling for income, age structure and baseline health status. Moreover, the positive associations between green space use and heat exposure were greatest in the context of prolonged heatwaves. This study emphasizes the need for incorporating green spaces in urban planning and climate change adaptation strategies. Overall, our research provides valuable information to the expanding literature on environmental determinants of health, offering policy makers a source of action to mitigate the health impacts of increasing temperatures.

테스트 실행의 실제 결과물입니다. 초록색: 사람의 글로 읽힘. 황색: 판정 보류, 문장 단위 투표는 여전히 AI 쪽으로 기울어 있음.

남은 것은 데이터 문장입니다. 기계가 쓴 요약에 자주 등장하는 "comprehensive dataset"이라는 표현이 여전히 있고, 세 가지 데이터 출처를 긴 절 하나에 몰아넣었습니다. 전체 결과물에 대해서도 다섯 모델 중 하나가 여전히 AI로 판정했습니다.

리포트는 이를 숨기지 않고 보여 주며, 해당 구간을 다시 실행할 수도 있습니다. 하지만 여기서는 직접 빠르게 고치면 탐지기 문제와 "hospital-level" 문제를 함께 해결할 수 있습니다. 예시로 저희가 쓴 한 가지 방안은 다음과 같습니다. "We linked satellite land surface temperature data, municipal tree canopy inventories and hospital administrative records for 214 census tracts." 직접 고친 문장은 믿고 쓰기 전에 다시 검사해야 합니다.

이 초록을 쓰기 전에 저자가 확인할 것

1. 부차적 결과에서 "protective"와 올바른 변수(green space coverage, heat-related emergency department visits)를 되살리세요. "cumulative cooling effect"를 남길지는 신중하게 결정하세요.
2. 주요 결과 문장을 문법에 맞게 다시 쓰고, 응급실 방문을 다시 명시하세요. 38%는 정확히 그대로 두세요.
3. 실제로 수행한 분석에 따라 "relationship"과 "correlation" 중 하나를 고르세요.
4. 논문에서 쓰는 용어가 "green infrastructure"라면 되돌려 놓으세요.
5. 데이터 문장은 직접 고치거나 다시 실행한 뒤 재검사하세요.
6. 마지막 문장을 소리 내어 읽어 보세요. "Valuable information"과 "a source of action"은 심사자가 알아채는 모호한 표현입니다.
7. 공개 의무 여부를 포함해 투고할 학술지의 AI 정책을 확인하세요.

특별한 일은 아닙니다. 초록은 논문 전체를 몇 문장으로 압축하므로 모든 동사가 무게를 지니는데, 재작성 도구는 심사자가 어떤 동사를 꼼꼼히 볼지 알 수 없습니다. 더 넓은 체크리스트는 휴머나이징할 때 의미와 인용 지키기를, 문장별 판정의 원리는 문장 단위 AI 탐지를 참고하세요. 논문의 다른 섹션은 논문 AI 검사 섹션별 가이드에서 다룹니다.

이번 실행이 초록 휴머나이징에 대해 말해 주는 것

탐지기 결과는 강력했습니다. AI 판정이 5표에서 1표로, 사람의 글로 읽힌 문장이 0개에서 7개 중 6개로 늘었습니다. 의미 측면의 결과는 엇갈렸습니다. 모든 수치가 유지되고 대부분의 문장이 뜻을 지켰지만, 결과 하나는 심사자가 알아챌 만큼 심하게 왜곡되었습니다. 휴머나이저가 하는 일을 정직하게 설명하려면 두 사실을 모두 말해야 합니다.

그래서 Academic Humanizer는 AI Detection Report에서 표시된 모든 문장을 재작성 문장과 짝지어 보여 줍니다. 탐지기가 반응하는 표현은 도구가 처리하고, 여러분은 바뀐 몇 개의 문장에 검토 시간을 쓰면 됩니다. AI의 도움으로 초안을 쓴 초록이 있다면 실행해 본 뒤, 공동 저자의 수정을 검토하듯 신중하게 문장 쌍을 읽어 보세요.