연구비 제안서와 AI 글쓰기: 실제 테스트와 필요한 검토

연구비 제안서는 AI로 초안을 쓰기에 자연스러운 곳이지만, 거기서 멈추기에는 위험한 곳입니다. 농업 분야 연구비를 위해 AI로 초안을 쓴 과제 요약을 Humanizer v2로 실행했습니다. 초안에서는 탐지 모델 5개가 모두 AI로 판정했습니다. 결과물에서는 5개 모두 사람으로 판정했고, 모든 문장이 사람의 글로 읽혔습니다.

탐지기 수치로만 보면 사례 연구 시리즈에서 가장 깔끔한 결과입니다. 하지만 과제 기간이 사라졌고, 심사자가 경계하는 단어가 들어갔고, 시험의 결과 지표 하나가 바뀌었습니다. 요약이 제출해도 될 상태인지를 결정하는 것은 검토 단계이므로, 이 글에서는 그 모든 것을 보여 드립니다.

초안과 실행

요약은 문제, 목표, 협력 기관, 설계, 질적 연구, 산출물, 영향이라는 전형적인 흐름을 따릅니다. 수많은 선정 제안서에 나오는 어휘도 그대로입니다. "mounting challenges", "interconnected challenges", "rigorously assess", "has the potential to significantly enhance" 같은 표현입니다. 일곱 문장이 모두 표시되었습니다.

1. AI 신호 스캔일곱 문장 중 일곱 문장이 표시되었고, 다섯 모델 모두 AI로 판정했습니다.
2. 표시된 문장 재작성일곱 문장 모두 다시 쓰였습니다.
3. AI 탐지기로 재검사일곱 문장 모두 사람의 글로 읽혔고, 다섯 모델 모두 사람으로 판정했습니다.
4. 결과 저장1,352자를 500자당 1크레딧으로 올림 계산: 3크레딧.

• AI로 쓴 연구비 제안서 요약5개 중 5개
• Humanizer v2 결과물5개 중 0개

출처: Humanizer v2 실서비스 실행. 리포트 판정이 AI-generated에서 Human-written으로 바뀌었습니다.

The climate change scenario is also changing the agricultural environment in semi-arid regions and smallholder farmers are facing increasing uncertainties related to rainfall variability, soil quality degradation, and lack of effective information. To counteract this situation, this research aims to develop and evaluate an innovative low-cost SMS-based advisory service which provides localized planting and fertilization advice for farmers in two districts of northern Ghana. We will collaborate with 1,200 households, local extension officers and a regional meteorological agency to co-develop our advisory content and deliver it. We will perform a cluster randomized controlled trial to measure the effect of our approach on maize yield, inputs used, and food security. We will also conduct qualitative interviews with farmers to better understand their trust in digital advice and the barriers to adopting it, especially those specifically targeted towards women farmers. The project aims to produce a validated advisory model, open source data sets, and policy briefs for national agricultural agencies. This project should strengthen the resilience and livelihoods of smallholder farmers and offer valuable lessons that can be applied by other digital agriculture initiatives in sub-Saharan Africa.

테스트 실행의 실제 결과물입니다. 일곱 문장 모두 사람의 글로 읽힙니다.

결과물만 한 번 읽으면 괜찮게 들립니다. 초안과 대조해 읽으면 그렇지 않습니다.

검토 단계: 사라진 것과 더해진 것

과제의 약속을 담은 두 문장을 보겠습니다. 무엇을 만들지, 누구와 함께, 얼마 동안인지가 담긴 문장입니다.

수정 전

This project aims to address these interconnected challenges by developing and evaluating a low-cost, SMS-based advisory system that delivers localized planting and fertilization recommendations to farmers in two districts of northern Ghana. Over a three-year period, we will partner with 1,200 households, local extension officers, and a regional meteorological agency to co-design the advisory content and delivery schedule.

수정 후

To counteract this situation, this research aims to develop and evaluate an innovative low-cost SMS-based advisory service which provides localized planting and fertilization advice for farmers in two districts of northern Ghana. We will collaborate with 1,200 households, local extension officers and a regional meteorological agency to co-develop our advisory content and deliver it.

두 문장에서 세 가지 문제가 생겼습니다.

• 3년이라는 기간이 사라졌습니다. "Over a three-year period"가 통째로 빠졌습니다. 연구비 제안서 요약에서 기간은 심사자가 예산과 연구 계획과 대조하는 핵심 약속입니다. 반드시 되돌려야 합니다.
• "Innovative"가 추가되었습니다. 초안은 시스템을 혁신적이라고 부르지 않았는데, 재작성 문장은 근거 없이 그렇게 불렀습니다. 근거 없는 새로움 주장은 심사자의 흔한 지적 사항이며, 이것은 저자의 주장도 아닙니다.
• 공동 설계 범위가 좁아졌습니다. 원래 협력 기관은 콘텐츠와 전달 일정을 공동 설계할 예정이었습니다. 이제는 콘텐츠만 공동 개발하고, 과제는 그저 "deliver it"합니다. 농민과 함께 시기를 설계하는 것은 실질적인 방법론적 선택인데, 그것이 사라졌습니다.

1,200가구, 두 지역, 가나 북부는 모두 살아남았습니다. SMS 자문이라는 핵심 아이디어도 그대로입니다. 손상은 심사자가 점수를 매기는 세부 사항에 있습니다.

나머지 다섯 문장

결과물의 나머지 부분도 문장 쌍마다 똑같이 읽어야 합니다. 발견한 내용은 다음과 같습니다.

• 문제 제기. 재작성은 초안에서 쓰지 않은 프레임인 "The climate change scenario"로 시작하고, "limited access to timely agronomic information"이 "lack of effective information"이 되었습니다. SMS 서비스의 요점은 적시성이었습니다.
• 시험 결과 지표. "Input use efficiency"가 "inputs used"가 되었습니다. 이 둘은 다른 지표입니다. 하나는 투입 대비 산출의 비율이고, 다른 하나는 양입니다. "Household food security"는 측정 단위인 "household"를 잃었습니다.
• 젠더 초점. "With particular attention to women farmers"가 "especially those specifically targeted towards women farmers"가 되어, 이제는 장벽이 여성을 겨냥한다는 뜻이 되었습니다. 전혀 다르고 근거도 없는 주장입니다.
• 산출물. "Open-access datasets"가 "open source data sets"가 되었습니다. 오픈 액세스는 누가 데이터를 볼 수 있는지에 관한 것이고, 오픈 소스는 보통 소프트웨어 라이선스를 가리킵니다.
• 영향. "Has the potential to significantly enhance"가 "should strengthen"이 되었고, "across sub-Saharan Africa"가 "in sub-Saharan Africa"가 되었습니다. 첫 번째 변경은 어조 면에서는 개선이라고 볼 수도 있지만, 그래도 연구비 지원 기관에 하는 주장으로 읽어 보세요.

구체적인 내용 되살리기

이 수정들은 어느 것도 실행을 되돌릴 필요가 없습니다. 모두 이제 사람의 글로 읽히는 문장 안에서 구절 단위로 고치면 됩니다. 예를 들어 저자는 협력 문장을 다음과 같이 되살릴 수 있습니다(Humanizer 결과물이 아닌 저희가 직접 고친 문장입니다).

Over three years, we will collaborate with 1,200 households, local extension officers and a regional meteorological agency to co-design our advisory content and its delivery schedule.

그다음 "innovative"를 지우고, "input use efficiency"와 "household food security"를 되돌리고, 여성 농민 관련 절을 다시 쓰고, "open source data sets"를 "open-access datasets"로 바꿉니다. 직접 고친 뒤에는 텍스트를 다시 검사하세요. 되살린 구절이 탐지기가 반응했던 요소를 일부 다시 가져올 수 있고, 그렇다면 리포트가 알려 줍니다. 해당 구간만 다시 휴머나이징하고 새 문장 쌍을 검토하면 됩니다. 이런 구절 단위 수정은 AI 글 직접 고치는 법에서 다룹니다.

제출하기 전에 연구비 지원 기관의 최신 AI 사용 규정을 확인하세요. 현재 여러 기관이 규정을 공개하고 있으며, 허용 범위와 공개해야 할 내용이 기관마다 다릅니다.

결함까지 공개한 이유

AI 판정 5표가 0표가 된 막대 그래프만 보여 주고 끝내기는 쉬웠을 것입니다. 하지만 연구비 제안서 요약은 약속의 묶음이며, 사람의 글처럼 읽히면서 3년이라는 약속을 조용히 빠뜨린 휴머나이저는 혼자서 할 일을 다 한 것이 아닙니다. 탐지기 결과와 의미 점검은 별개의 두 시험이고, 요약은 둘 다 통과해야 합니다.

Academic Humanizer는 두 번째 시험을 빠르게 할 수 있도록 설계되었습니다. AI Detection Report는 표시된 모든 문장을 재작성 문장과 짝지어 보여 주므로, 위와 같은 점검이 전체를 다시 읽는 대신 몇 분이면 끝납니다. 휴머나이징할 때 의미를 지키는 법에서 확인할 항목을 정리했고, 책임 있는 수정 워크플로에서는 제안서를 내보내기 전 이 점검이 어디에 들어가는지 보여 줍니다.