How Accurate Are AI Detectors? RAID बेंचमार्क क्या दिखाता है

AI डिटेक्टर कितने सटीक हैं? कई 99% या उससे ज़्यादा का विज्ञापन करते हैं। ACL 2024 में प्रस्तुत RAID बेंचमार्क ऐसे दावों को एक साझा, कठिन डेटासेट पर परखने के लिए बनाया गया था। इसका जवाब: डिटेक्टर बहुत ऊँची सटीकता तक पहुँच सकते हैं, लेकिन सिर्फ़ सीमित परिस्थितियों में, अक्सर तभी जब बहुत-से false positive की छूट हो, और टेक्स्ट बनाने के तरीक़े में साधारण बदलाव या हल्की छेड़छाड़ उन्हें लगभग विफलता तक धकेल सकती है।

यहाँ बताया गया है कि RAID में क्या है, यह डिटेक्टरों को कैसे मापता है, और इसके आँकड़े विक्रेताओं के लैंडिंग पेज के आँकड़ों से शायद ही क्यों मेल खाते हैं।

RAID में क्या है

RAID जानबूझकर बड़ा है। पहले के डिटेक्शन डेटासेट आम तौर पर एक या दो जेनरेटर, एक डिकोडिंग सेटिंग और कोई हमला नहीं इस्तेमाल करते थे, जिससे डिटेक्टर बेहतर दिखते थे। RAID इन सबको एक साथ बदलता है।

दस प्रतिशत डेटा बिना लेबल के छिपे टेस्ट सेट के रूप में अलग रखा गया है, और लेखक एक सार्वजनिक लीडरबोर्ड चलाते हैं ताकि नए डिटेक्टरों की तुलना बराबरी पर हो सके। अलग से RAID-extra सेट Python कोड, चेक समाचार और जर्मन समाचार के 23 लाख जेनरेशन जोड़ता है।

आठ डोमेन में से एक पेपर एब्स्ट्रैक्ट है, जिससे RAID अकादमिक लेखकों के लिए उन बेंचमार्कों से ज़्यादा प्रासंगिक है जो सिर्फ़ समाचार या वेब टेक्स्ट पर बने हैं।

फ़ॉल्स पॉज़िटिव दर सब कुछ क्यों बदल देती है

डिटेक्टर एक स्कोर देता है। उसे "AI" या "इंसानी" में बदलने के लिए कोई एक सीमा (थ्रेशोल्ड) चुनता है। RAID के लेखक दिखाते हैं कि यह चुनाव उससे कहीं ज़्यादा मायने रखता है जितना ज़्यादातर मार्केटिंग मानती है।

पहले, उन्होंने देखा कि 0.5 जैसी सीधी-सादी सीमा पर क्या होता है। कई ओपन-सोर्स डिटेक्टरों ने, ख़ासकर मेट्रिक-आधारित वालों ने, वह दिया जिसे लेखक ख़तरनाक रूप से ऊँची फ़ॉल्स पॉज़िटिव दरें कहते हैं। व्यावसायिक डिटेक्टर बेहतर कैलिब्रेटेड थे, और परखी गई आम सीमाओं पर किसी की फ़ॉल्स पॉज़िटिव दर 1.7% से ऊपर नहीं थी।

दूसरे, उन्होंने सटीकता को फ़ॉल्स पॉज़िटिव दर के सामने प्लॉट किया। डिटेक्टर वायरल रिपोर्टों में बताई गई बहुत ऊँची सटीकता तक पहुँच सकते थे, लेकिन तभी जब उन्हें उतनी ही ऊँची फ़ॉल्स पॉज़िटिव दर की छूट हो। स्वीकार्य दर घटते ही ज़्यादातर तेज़ी से गिरे, और कुछ ही 1% से नीचे काम कर पाए। कुछ परखी गई सबसे कम दर तक कभी पहुँचे ही नहीं, और 16.9% (ZeroGPT), 0.88% (Fast-DetectGPT) और 0.62% (Originality) पर ठहर गए। Binoculars साफ़ अपवाद था, जो कम फ़ॉल्स पॉज़िटिव दरों पर भी अच्छा टिका रहा।

• AI टेक्स्ट पर डिटेक्शन दर
• इंसानी टेक्स्ट पर फ़ॉल्स पॉज़िटिव दर

RAID जिस समझौते को मापता है उसका उदाहरण, पेपर का डेटा नहीं।

पेपर के बाक़ी हिस्से में हर डिटेक्टर को RAID के इंसानी टेक्स्ट पर 5% फ़ॉल्स पॉज़िटिव दर पर कैलिब्रेट किया गया है, और सटीकता उसी बिंदु पर बताई गई है। टूलों की तुलना का यही एकमात्र निष्पक्ष तरीक़ा है, और यही कारण है कि RAID के आँकड़े विक्रेताओं के दावों से कम दिखते हैं, जो अक्सर फ़ॉल्स पॉज़िटिव दर बताते ही नहीं।

सैंपलिंग, रिपीटिशन पेनल्टी और अनदेखे मॉडल

RAID के कुछ सबसे चौंकाने वाले नतीजों में कोई हमला शामिल ही नहीं है, सिर्फ़ जेनरेशन की सामान्य सेटिंग्स हैं।

रिपीटिशन पेनल्टी। रिपीटिशन पेनल्टी जोड़ने से, जो मॉडल को एक ही टोकन दोबारा इस्तेमाल करने से रोकती है, डिटेक्टरों, जेनरेटरों और डोमेनों में सटीकता 32 अंक तक गिर गई। लेखक बताते हैं कि डिटेक्टरों की मज़बूती पर पहले के किसी अध्ययन ने इस पर रिपोर्ट नहीं किया था, जबकि पेनल्टी आउटपुट को ज़्यादा इंसानी बनाती है।

डिकोडिंग रणनीति। हर श्रेणी के डिटेक्टर ने रैंडम सैंपलिंग की तुलना में ग्रीडी डिकोडिंग पर काफ़ी बेहतर प्रदर्शन किया।

अनदेखे जेनरेटर। GPT-2 आउटपुट पर प्रशिक्षित RoBERTa डिटेक्टर ने पाँच डोमेनों में GPT-2 टेक्स्ट पर 95% से ज़्यादा स्कोर किया, लेकिन उन्हीं डोमेनों में दूसरे मॉडलों के टेक्स्ट पर शायद ही कभी 60% से ऊपर। डिटेक्टर उन्हीं मॉडलों और डोमेनों पर सबसे अच्छा करते हैं जिन पर वे प्रशिक्षित हुए, और लेखकों ने व्यावसायिक टूलों में भी ऐसे ही पैटर्न देखे।

पेपर इसे साफ़ शब्दों में समेटता है: जेनरेटर बदलना, डिकोडिंग रणनीति बदलना या रिपीटिशन पेनल्टी जोड़ना ही उन डिटेक्टरों में 95% या उससे ज़्यादा त्रुटि दर लाने के लिए काफ़ी था जो वरना बेहतरीन दिखते थे।

एडवर्सेरियल हमले अलग-अलग डिटेक्टरों पर कैसे असर करते हैं

RAID के हमले जानबूझकर सरल, ब्लैक-बॉक्स संपादन हैं। उनका असर डिटेक्टर के हिसाब से बहुत अलग रहा, जो पेपर के ज़्यादा उपयोगी निष्कर्षों में से एक है।

• Originality, बिना हमला85.0%
• Originality, होमोग्लिफ़ हमला9.3%
• Binoculars, बिना हमला79.6%
• Binoculars, पर्यायवाची अदला-बदली43.5%
• GPTZero, बिना हमला66.5%
• GPTZero, होमोग्लिफ़ हमला66.2%

स्रोत: Dugan et al. 2024, Table 6।

• शब्दों के छोटे-से हिस्से को पर्यायवाचियों से बदलने पर Binoculars और दूसरी मेट्रिक-आधारित विधियाँ 36.1 अंक तक गिरीं।
• होमोग्लिफ़, यानी ऐसे अक्षर जो दिखते एक जैसे हैं पर जिनके कोड पॉइंट अलग हैं, ने लगभग हर डिटेक्टर को नुक़सान पहुँचाया। GPTZero ने सिर्फ़ 0.3 अंक खोए; पाँच दूसरे औसतन 40.6 अंक गिरे।
• RADAR जैसे एडवर्सेरियल रूप से प्रशिक्षित डिटेक्टर कहीं बेहतर टिके रहे।
• कुछ हमलों ने मदद भी की। T5 पैराफ़्रेज़िंग के बाद GPT-2 RoBERTa डिटेक्टर 16.2 अंक बेहतर हुआ, शायद इसलिए कि पैराफ़्रेज़र ने टेक्स्ट को डिटेक्टर के अपने प्रशिक्षण डेटा के क़रीब ला दिया।

इन सबके पीछे वही पैटर्न है जो छोटे अध्ययनों में भी दिखा, जैसे Weber-Wulff और साथियों का 14 टूलों वाला टेस्ट: डिटेक्टर सतही आँकड़े पढ़ते हैं, और अलग डिटेक्टर अलग आँकड़े पढ़ते हैं। जो बदलाव अर्थ को नहीं छूता, वह भी टेक्स्ट को डिटेक्टर की रेखा के पार ले जा सकता है।

बेंचमार्क के आँकड़े विक्रेताओं के दावों से अलग क्यों होते हैं

जब कोई प्रोडक्ट पेज 99% कहता है, तो आम तौर पर उसका मतलब होता है विक्रेता के अपने टेस्ट सेट पर 99%, जो उन्हीं मॉडलों, डोमेनों और सेटिंग्स से लिया गया है जिनके लिए डिटेक्टर प्रशिक्षित हुआ, और ऐसी सीमा पर जो पाठक को बताई नहीं जाती। RAID इनमें से हर बिंदु पर अलग है:

• यह फ़ॉल्स पॉज़िटिव दर तय करता और बताता है, ताकि गलत फ़्लैग हुए इंसानी टेक्स्ट की क़ीमत पर सटीकता न ख़रीदी जा सके।
• इसमें ऐसे मॉडल और डोमेन हैं जिन्हें डिटेक्टर ने शायद कभी देखा ही न हो।
• यह डिकोडिंग सेटिंग्स बदलता है, जिन्हें असली उपयोगकर्ता और टूल नियमित रूप से बदलते हैं।
• यह वे सस्ते संपादन लागू करता है जिनसे असली टेक्स्ट वैसे भी गुज़रता है, जैसे टाइपो, फ़ॉर्मैटिंग में बदलाव और शब्द बदलना।

कोई भी आँकड़ा नक़ली नहीं है। वे अलग सवालों के जवाब देते हैं। विक्रेता का आँकड़ा बताता है कि टूल उन परिस्थितियों में कैसा करता है जिनके लिए वह बना। RAID बताता है कि परिस्थितियाँ बदलने पर वह कैसा व्यवहार करता है, जो किसी असली पांडुलिपि के साथ होने वाली स्थिति के ज़्यादा क़रीब है। यही अंतर काफ़ी हद तक वह भी समझाता है जो हम AI डिटेक्टर आपस में असहमत क्यों होते हैं में एक ही पैराग्राफ़ पर बताते हैं।

लेखक अपने एथिक्स स्टेटमेंट में एक साफ़ रेखा खींचते हैं: फ़ॉल्स पॉज़िटिव की अनसुलझी समस्याओं को देखते हुए, वे तब तक अनुशासनात्मक या दंडात्मक संदर्भों में डिटेक्टरों के इस्तेमाल का विरोध करते हैं जब तक बेहतर मूल्यांकन मानक व्यापक रूप से न अपनाए जाएँ।

अकादमिक लेखकों के लिए इसका मतलब

अगर आप AI की मदद से लिखते हैं, तो RAID याद दिलाता है कि किसी भी एक डिटेक्टर का स्कोर ऐसी सेटिंग्स पर निर्भर है जो आपको दिखती नहीं। किसी नतीजे को एक रीडिंग मानें, देखें कि AI सहायता पर आपके संस्थान या जर्नल की नीति क्या कहती है, और अपनी ड्राफ़्टिंग प्रक्रिया का रिकॉर्ड रखें। अगर कोई स्कोर आपके ख़िलाफ़ इस्तेमाल हो, तो ऐसे बेंचमार्क साक्ष्य मानवीय समीक्षा माँगने का उचित आधार हैं; हमारी पोस्ट गलत तरीक़े से AI के रूप में फ़्लैग होने पर क्या करें व्यावहारिक क़दम बताती है। क्या Turnitin ChatGPT, Claude और Gemini पकड़ता है? यही सवाल Turnitin के लिए देखता है, जिसे RAID ने परखा नहीं था।

Academic Humanizer की भूमिका

चूँकि डिटेक्टर असहमत होते हैं और बदलते रहते हैं, Academic Humanizer अपने नतीजों को एक के बजाय कई डिटेक्टरों पर जाँचता है। इसे Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling और Originality.ai पर परखा गया है। Humanizer सिर्फ़ उन वाक्यों को दोबारा लिखता है जिन्हें डिटेक्टर फ़्लैग करते हैं, आपकी शब्दावली, संख्याएँ और उद्धरण बनाए रखता है, और इसकी AI Detection Report ड्राफ़्ट और आउटपुट को एक ही पैमाने पर अगल-बगल दिखाती है, उन वाक्यों सहित जो अब भी फ़्लैग हैं, ताकि आप जमा करने से पहले तय कर सकें कि क्या संशोधित करना है।