AI Detection Research Papers: 11 अहम अध्ययनों की रीडिंग लिस्ट

अगर आप AI टेक्स्ट डिटेक्शन को सिर्फ़ किसी स्कोर पर भरोसा करने के बजाय समझना चाहते हैं, तो लगभग एक दर्जन पेपर ज़्यादातर काम कर देते हैं। वे बताते हैं कि डिटेक्टर टेक्स्ट को कैसे मापते हैं, वे कितने टिकाऊ हैं, किनके साथ चूकते हैं, और सतही rewriting से उनके फ़ैसले कितनी आसानी से बदल जाते हैं। यह रीडिंग लिस्ट 2019 से 2024 तक के ग्यारह पेपर और शिक्षकों के लिए लिखा गया एक अध्ययन शामिल करती है।

हर प्रविष्टि में पूरा शीर्षक, लेखक, प्रकाशन स्थल, एक पुष्ट निष्कर्ष और पेपर का लिंक है। जहाँ हमारा विस्तृत लेख है, उसका लिंक भी दिया गया है।

1. 2019: शुरुआती टूलGLTR और GPT-2 output detector वे दो तरीके दिखाते हैं जो आज भी हावी हैं: token सांख्यिकी और प्रशिक्षित classifier।
2. 2023: zero-shot और watermarkDetectGPT और LLM watermarking बिना प्रशिक्षित classifier के डिटेक्शन का प्रस्ताव रखते हैं।
3. 2023: पहली कड़ी परीक्षाएँDIPPER paraphrase से बच निकलना दिखाता है; Liang et al. गैर-मूल लेखकों के प्रति पूर्वाग्रह दिखाते हैं।
4. 2024: सस्ते डिटेक्टर, बड़े बेंचमार्कFast-DetectGPT, Binoculars और Ghostbuster डिटेक्शन सुधारते हैं, जबकि RAID और M4 इसे बड़े पैमाने पर परखते हैं।

बुनियाद: डिटेक्शन की शुरुआत कैसे हुई

1. GLTR: Statistical Detection and Visualization of Generated Text

Sebastian Gehrmann, Hendrik Strobelt, Alexander M. Rush · ACL 2019 (System Demonstrations)

GLTR हर शब्द को इस आधार पर रंग देता है कि language model ने उसे कितनी ऊँची रैंक दी। मशीन का टेक्स्ट ऊँची रैंक वाले विकल्पों के आसपास रहता है, जबकि लोग कम अपेक्षित शब्द ज़्यादा चुनते हैं। एक मानव अध्ययन में GLTR ने बिना पूर्व प्रशिक्षण के लोगों की generated टेक्स्ट पहचानने की सटीकता 54% से बढ़ाकर 72% कर दी। इसका मूल विचार, कि अनुमान-योग्यता एक संकेत है, आज ज़्यादातर डिटेक्टरों की नींव है। पेपर

2. Release Strategies and the Social Impacts of Language Models

Irene Solaiman et al. (OpenAI) · Report, 2019

GPT-2 की चरणबद्ध रिलीज़ पर यह रिपोर्ट उस RoBERTa-आधारित classifier का वर्णन करती है जो बाद में व्यापक रूप से इस्तेमाल होने वाला "GPT-2 Output Detector" बना। लेखकों के अनुसार इसने 1.5 अरब parameter वाले GPT-2 के टेक्स्ट को लगभग 95% सटीकता से पहचाना। यही डिटेक्टर बाद के मूल्यांकनों में फिर आता है: RAID में इसने पाँच domains में GPT-2 टेक्स्ट पर 95% से ऊपर स्कोर किया, लेकिन दूसरे models के टेक्स्ट पर शायद ही कभी 60% से ऊपर गया। पेपर

Zero-shot डिटेक्शन और watermarking

3. DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature

Eric Mitchell, Yoonho Lee, Alexander Khazatsky, Christopher D. Manning, Chelsea Finn · ICML 2023

DetectGPT का अवलोकन है कि model का लिखा टेक्स्ट आम तौर पर model की log probability की स्थानीय चोटी पर होता है: छोटे बदलाव (perturbation) उसे कम संभावित बना देते हैं। इसे किसी प्रशिक्षण डेटा की ज़रूरत नहीं, सिर्फ़ model की probabilities और T5 जैसा एक perturbation model चाहिए। GPT-NeoX से बनी फ़र्ज़ी ख़बरों पर इसने AUROC को पिछले सबसे अच्छे zero-shot तरीके के 0.81 से बढ़ाकर 0.95 कर दिया। पढ़ें हमारा DetectGPT पर लेख। पेपर

4. A Watermark for Large Language Models

John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein · ICML 2023

शैली से अनुमान लगाने के बजाय यह तरीका generation के समय ही एक संकेत डाल देता है। हर शब्द से पहले tokens की एक pseudo-random "green list" चुनी जाती है और उसे हल्का-सा तरजीह दी जाती है; बाद में डिटेक्टर green tokens गिनता है और समझ में आने वाले p-values के साथ सांख्यिकीय परीक्षण करता है, model की ज़रूरत के बिना। यह तभी काम करता है जब model प्रदाता इसे चालू करे। पढ़ें हमारा watermarking पर लेख। पेपर

कड़ी परीक्षाएँ: बच निकलना और पूर्वाग्रह

5. Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense

DIPPER पेपर (ऊपर का कार्ड) humanizer रिसर्च का शुरुआती बिंदु है। 11B parameter वाले एक paraphraser ने अर्थ बनाए रखते हुए watermarking, DetectGPT, GPTZero और OpenAI के classifier को कमज़ोर कर दिया। इसका सुझाया हल, यानी प्रदाता की सेव की गई generations में मिलती-जुलती सामग्री खोजना, 1% false positive rate पर 80% से 97% paraphrases पकड़ लेता था। पढ़ें हमारा DIPPER पर लेख।

6. GPT detectors are biased against non-native English writers

Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou · Patterns, 2023

सात लोकप्रिय डिटेक्टरों को गैर-मूल लेखकों के 91 TOEFL निबंधों और अमेरिका के आठवीं कक्षा के छात्रों के 88 निबंधों पर परखा गया। अमेरिकी निबंधों पर वे लगभग पूरी तरह सही थे, लेकिन आधे से ज़्यादा TOEFL निबंधों को AI बता दिया, औसत false positive rate 61.22% के साथ; 91 में से 89 को कम से कम एक डिटेक्टर ने फ़्लैग किया। उन्हीं निबंधों की शब्दावली समृद्ध करने पर दर घटकर 11.77% रह गई। पढ़ें हमारा डिटेक्टर पूर्वाग्रह पर लेख। पेपर

2024: तेज़ डिटेक्टर और कठिन बेंचमार्क

7. Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text via Conditional Probability Curvature

Guangsheng Bao, Yanbin Zhao, Zhiyang Teng, Linyi Yang, Yue Zhang · ICLR 2024

Fast-DetectGPT, DetectGPT के महँगे perturbation चरण की जगह conditional probability curvature का sampling-आधारित माप इस्तेमाल करता है। लेखकों के अनुसार white-box और black-box दोनों स्थितियों में DetectGPT पर लगभग 75% सापेक्ष सुधार हुआ, और डिटेक्शन लगभग 340 गुना तेज़ हुआ। पेपर

8. Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text

Abhimanyu Hans et al. · ICML 2024

Binoculars यह तुलना करता है कि कोई टेक्स्ट एक model को कितना चौंकाता है, और एक model की भविष्यवाणियाँ दूसरे model को कितना चौंकाती हैं। बिना किसी प्रशिक्षण डेटा के यह 0.01% false positive rate पर ChatGPT और दूसरे LLMs के 90% से ज़्यादा samples पकड़ता है। RAID में कम false positive rate पर यह सबसे आगे रहा। पढ़ें हमारा Fast-DetectGPT और Binoculars पर लेख। पेपर

9. Ghostbuster: Detecting Text Ghostwritten by Large Language Models

Vivek Verma, Eve Fleisig, Nicholas Tomlin, Dan Klein · NAACL 2024

Ghostbuster दस्तावेज़ों को कई कमज़ोर language models से गुज़ारता है, उनके features के संयोजनों में खोज करता है और नतीजे पर एक classifier प्रशिक्षित करता है, इसलिए उसे लक्षित model की probabilities की ज़रूरत नहीं पड़ती। इसने अलग-अलग domains में 99.0 F1 हासिल किया, जो पिछले सबसे अच्छे model से 5.9 F1 ज़्यादा था, और साथ में छात्र निबंधों, रचनात्मक लेखन और ख़बरों के नए datasets भी दिए। पेपर

10. M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection

Yuxia Wang et al. · EACL 2024

M4 में छह generators (GPT-4, ChatGPT, Cohere, Dolly-v2 और BLOOMz समेत), Wikipedia से लेकर arXiv abstracts और peer reviews तक के domains, और सात भाषाएँ हैं: अरबी, बल्गेरियाई, चीनी, अंग्रेज़ी, इंडोनेशियाई, रूसी और उर्दू। इसका मुख्य निष्कर्ष यह है कि डिटेक्टर अनदेखे domains और models पर सामान्यीकरण में संघर्ष करते हैं, और ऐसे मामलों में मशीन के टेक्स्ट को इंसानी बता देते हैं। यह SemEval-2024 Task 8 का आधार बना। पेपर

11. RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors

Liam Dugan et al. · ACL 2024

RAID 12 डिटेक्टरों को 11 models, 8 domains, 4 decoding strategies और 11 adversarial attacks से बनी 60 लाख से ज़्यादा generations पर परखता है, और हर डिटेक्टर को एक ही false positive rate पर calibrate किया गया है। जो डिटेक्टर एक स्थिति में शानदार दिखते हैं, वे दूसरी में विफल हो सकते हैं, और अकेले repetition penalty ने सटीकता 32 अंकों तक घटा दी। पढ़ें हमारा RAID पर लेख। पेपर

शिक्षकों के लिए एक और

Debora Weber-Wulff et al. का Testing of detection tools for AI-generated text (International Journal for Educational Integrity, 2023) 54 नियंत्रित दस्तावेज़ों पर 14 टूल परखता है। कोई भी 80% सटीकता तक नहीं पहुँचा, और मशीन paraphrase ने औसत सटीकता 26% तक गिरा दी। पढ़ें हमारा 14 टूल वाले अध्ययन का सार या पेपर। डिटेक्शन के मुश्किल बने रहने के पीछे के सिद्धांत के लिए देखें हमारी पोस्ट क्या AI टेक्स्ट को भरोसेमंद ढंग से पहचाना जा सकता है। स्कोर के अलावा प्रशिक्षक क्या देखते हैं, इसके लिए क्या प्रोफ़ेसर AI पकड़ सकते हैं? देखें।

इन पेपरों को कैसे पढ़ें

• False positive rate देखें। इसके बिना सटीकता का आँकड़ा समझना मुश्किल है। इसी कारण DIPPER, Binoculars और RAID सभी एक तय कम false positive rate पर डिटेक्शन बताते हैं।
• देखें कि कौन-से models और domains परखे गए। GPT-2 या ख़बरों के टेक्स्ट के नतीजे किसी मौजूदा model के लिखे methods सेक्शन पर लागू न हों, ऐसा हो सकता है।
• तारीख़ पर ध्यान दें। व्यावसायिक टूल अक्सर अपडेट होते हैं, इसलिए किसी नामित प्रोडक्ट का 2023 का स्कोर बस एक झलक है।
• देखें कि गलत फ़्लैग किसे होता है। Liang et al. और Weber-Wulff et al. दोनों दिखाते हैं कि गलतियों की सबसे ज़्यादा मार गैर-मूल और अनुवादित लेखन पर पड़ती है।

Academic Humanizer कहाँ फ़िट होता है

साथ पढ़ने पर ये पेपर दिखाते हैं कि डिटेक्टर ऐसी सतही सांख्यिकी पर प्रतिक्रिया देते हैं जो सावधानी से लिखे इंसानी लेखन में भी हो सकती है। Academic Humanizer उन शोधकर्ताओं के लिए बना है जिनके अपने विचारों पर इसी कारण गलत लेबल लग जाता है। Humanizer सिर्फ़ उन वाक्यों को दोबारा लिखता है जिन्हें डिटेक्टर फ़्लैग करते हैं, आपके तर्क, संख्याएँ और citations बनाए रखता है, और इसकी AI Detection Report ड्राफ़्ट और आउटपुट की तुलना एक ही पैमाने पर करती है ताकि आप हर बदलाव की समीक्षा कर सकें। हमेशा की तरह, जमा करने से पहले अपने संस्थान या जर्नल की AI नीति ज़रूर देखें।