Are AI Detectors Accurate? 14 टूलों वाले अध्ययन में क्या मिला

क्या AI डिटेक्टर सटीक हैं? अब तक के सबसे सावधानी से दर्ज किए गए सार्वजनिक टेस्टों में से एक के अनुसार, ज़्यादा नहीं। 2023 में आठ अकादमिक ईमानदारी शोधकर्ताओं ने मौलिक टेक्स्ट लिखे, कुछ ChatGPT से बनाए, उनमें से कुछ को संपादित और पैराफ़्रेज़ किया, और सभी 54 दस्तावेज़ 14 डिटेक्टरों में डाले। कोई भी 80% सटीकता तक नहीं पहुँचा। International Journal for Educational Integrity में प्रकाशित निष्कर्ष दो टूक था: टूल "neither accurate nor reliable" थे, यानी न सटीक, न भरोसेमंद।

यह पोस्ट बताती है कि अध्ययन कैसे बनाया गया, आँकड़े असल में क्या दिखाते हैं, और शोधकर्ताओं के लिए इसका सबसे उपयोगी सबक "डिटेक्टर बेकार हैं" से ज़्यादा सीमित और व्यावहारिक क्यों है। डिटेक्टर का स्कोर एक संकेत है। सबूत नहीं।

अध्ययन कैसे डिज़ाइन किया गया

इस पेपर की ताक़त इसका टेस्ट सेट है। नौ शोधकर्ताओं (आठ लेखक और एक सहयोगी) ने छह-छह दस्तावेज़ तैयार किए, इसलिए हर मामले की असली स्थिति ज्ञात थी। लगभग 10,000 कैरेक्टर के इंसानी टेक्स्ट नए सिरे से लिखे गए, मोटे तौर पर स्नातक स्तर पर, सिविल इंजीनियरिंग, कंप्यूटर साइंस, अर्थशास्त्र, इतिहास, भाषाविज्ञान और साहित्य जैसे क्षेत्रों में। इनमें से कुछ भी कभी इंटरनेट पर नहीं था, जिससे यह संभावना ख़त्म हो जाती है कि किसी मॉडल ने इसे प्रशिक्षण में देखा हो।

डिटेक्टर थे Check For AI, Compilatio, Content at Scale, Crossplag, DetectGPT, Go Winston, GPT Zero, GPT-2 Output Detector Demo, OpenAI Text Classifier, PlagiarismCheck, Turnitin, Writeful GPT Detector, Writer और ZeroGPT। बारह मुफ़्त वेब टूल थे; Turnitin और PlagiarismCheck व्यावसायिक सिस्टम थे जिन्होंने टीम को पहुँच दी। इस तरह मार्च से मई 2023 के बीच कुल 756 अलग-अलग टेस्ट हुए।

चूँकि टूल हाँ या ना के बजाय संभावनाएँ बताते हैं, लेखकों ने हर आउटपुट को पाँच-चरणों वाले पैमाने पर रखा और सटीकता तीन अलग तरीक़ों से गिनी। तरीक़ों के बीच टूलों की रैंकिंग लगभग नहीं बदली, जिससे नतीजों को स्कोरिंग की कृत्रिमता कहकर ख़ारिज करना कठिन है।

मुख्य बात: कोई टूल 80% तक नहीं पहुँचा

हर टूल की सटीकता 80% से नीचे रही, और सिर्फ़ पाँच ने 70% से ऊपर स्कोर किया: Turnitin, Compilatio, GPT-2 Output Detector, Crossplag और Go Winston। तीनों स्कोरिंग तरीक़ों में Turnitin पहले स्थान पर रहा। GPT-2 Output Detector का तीसरे स्थान पर आना लेखकों के लिए आश्चर्य था, क्योंकि उसे कभी GPT-3.5 आउटपुट पर प्रशिक्षित नहीं किया गया था।

• Turnitin76%
• Compilatio74%
• GPT-2 Output Detector Demo72%
• GPT Zero54%
• PlagiarismCheck39%
• Content at Scale33%

स्रोत: Weber-Wulff et al. 2023, Table 5 (बाइनरी तरीक़ा, हर टूल पर 54 दस्तावेज़)।

फिर भी कुल सटीकता का आँकड़ा ज़्यादातर कहानी छिपा देता है। दिलचस्प हिस्सा यह है कि हर टूल कहाँ विफल हुआ।

सटीकता कहाँ ढह गई

सभी टूलों और स्कोरिंग तरीक़ों के औसत में, इंसानी अंग्रेज़ी लेखन 96% बार सही वर्गीकृत हुआ। बिना संपादन वाला ChatGPT टेक्स्ट 74% पर रहा। उसके बाद आँकड़े तेज़ी से गिरे।

• इंसानी लेखन (01-Hum)96%
• ChatGPT, बिना संपादन (03/04-AI)74%
• ChatGPT, हाथ से संपादित (05-ManEd)42%
• ChatGPT, मशीन से पैराफ़्रेज़ (06-Para)26%

स्रोत: Weber-Wulff et al. 2023, section 5.1.1 (सभी सटीकता तरीक़ों का औसत)।

मशीनी अनुवाद। किसी दूसरी भाषा में लिखे और अंग्रेज़ी में मशीनी अनुवाद किए गए इंसानी टेक्स्ट, मूल अंग्रेज़ी टेक्स्ट की तुलना में लगभग 20 अंक कम बार सही वर्गीकृत हुए। अनुवाद ऐसे सांख्यिकीय निशान छोड़ता है जिन्हें टूल मशीनी आउटपुट समझते हैं, भले ही हर विचार किसी इंसान का हो।

हल्का इंसानी संपादन। पर्यायवाची बदलना और उपवाक्यों का क्रम बदलना, यानी वह जल्दबाज़ी वाला संपादन जिसे लेखक patchwriting कहते हैं, औसत सटीकता को 42% तक ले आया।

मशीनी पैराफ़्रेज़। Quillbot से एक बार गुज़ारने पर सटीकता 26% रह गई। पैराफ़्रेज़ किए गए ज़्यादातर AI टेक्स्ट इंसानी पढ़े गए।

इतने सतही बदलाव इतना मायने क्यों रखेंगे? ज़्यादातर डिटेक्टर अर्थ के लिए नहीं पढ़ते। जैसा हम AI डिटेक्टर कैसे काम करते हैं में समझाते हैं, वे यह स्कोर करते हैं कि हर शब्द कितना अनुमान-योग्य है और टेक्स्ट की लय कितनी एकरूप दिखती है। पर्याप्त शब्द-चुनाव बदल दें, तो सामग्री वही रहते हुए सांख्यिकीय छाप खिसक जाती है। यह डिटेक्टर की नाज़ुकता है, लेखन का गुण नहीं।

"इंसानी" की ओर झुकाव, और झूठे आरोप की समस्या

GPT Zero के उल्लेखनीय अपवाद को छोड़कर, हर टूल इंसानी टेक्स्ट पर AI टेक्स्ट से ज़्यादा सटीक था। लेखक इसे शायद जानबूझकर किया गया डिज़ाइन चुनाव मानते हैं, और तर्क देते हैं कि शिक्षा में यही सुरक्षित दिशा है। फिर भी गलतियाँ दोनों तरफ़ हुईं।

टीम ने एक झूठा-आरोप अनुपात परिभाषित किया: इंसानी लेखन के उन मामलों का हिस्सा जहाँ किसी टूल का आउटपुट शिक्षक को छात्र पर आरोप लगाने की ओर ले जा सकता था। मूल अंग्रेज़ी टेक्स्ट के लिए टूलों का औसत 2.4% था। मशीनी अनुवाद वाले टेक्स्ट के लिए यह 11.1% था। आधे टूलों ने कभी झूठा आरोप नहीं दिया; GPT Zero 50% के साथ अलग था, जिसे लेखकों ने अकादमिक इस्तेमाल के लिए अनुपयुक्त कहा। इस सेट में Turnitin का कोई झूठा आरोप नहीं था।

दूसरी ओर, बिना संपादन वाले लगभग 20% AI टेक्स्ट औसतन पकड़ में नहीं आए, और छिपाए गए टेक्स्ट में से लगभग आधे भी नहीं। टीम ने यह भी देखा कि एक ही दस्तावेज़ को अलग-अलग दिनों पर अलग नतीजे मिले: Check For AI के एक टेस्ट ने कम जोखिम बताया, फिर पाँच दिन बाद ऊँचा जोखिम। जिस पर आरोप लगा हो, उसके लिए यह असंगति उतनी ही मायने रखती है जितनी त्रुटि दरें।

अनुवाद वाला नतीजा ख़ासकर अंतरराष्ट्रीय शोधकर्ताओं के ध्यान देने लायक है। अपनी पहली भाषा में लिखना और अपना काम ख़ुद अनुवाद करना एक वैध तरीक़ा है, फिर भी इस अध्ययन में इससे गलत फ़्लैग का जोखिम बढ़ा। यह उन निष्कर्षों से मेल खाता है जिन्हें हम GPT डिटेक्टर गैर-मूल लेखकों के प्रति पक्षपाती हैं में बताते हैं।

लेखक क्या सलाह देते हैं

निष्कर्ष शिक्षकों के लिए हैं, और वे दृढ़ हैं:

• डिटेक्टर का आउटपुट कभी भी कदाचार रिपोर्ट का अकेला आधार नहीं होना चाहिए। टेक्स्ट-मिलान सॉफ़्टवेयर के उलट, AI डिटेक्टर कोई जाँचने योग्य स्रोत नहीं देते, इसलिए छात्र के पास खंडन करने को कुछ ठोस नहीं होता।
• फ़्लैग छात्र से बातचीत का कारण बन सकता है, फ़ैसला नहीं।
• डिटेक्शन से पहले रोकथाम आनी चाहिए: जेनरेटिव AI के नैतिक और अनैतिक इस्तेमाल पर स्पष्ट मार्गदर्शन, और ऐसा मूल्यांकन जो अंतिम उत्पाद से ज़्यादा लेखन प्रक्रिया को महत्व दे।
• संस्थानों को छात्रों का काम क्लाउड-आधारित डिटेक्शन सेवाओं पर अपलोड करने के निजता और क़ानूनी पहलुओं पर सोचना चाहिए।

पेपर अपनी सीमाओं के बारे में भी खुला है। इसने सिर्फ़ अंग्रेज़ी, एक ही जेनरेटर, और 2023 की शुरुआत में मौजूद टूल परखे। विक्रेताओं ने तब से अपने प्रोडक्ट अपडेट किए हैं, इसलिए ख़ास प्रतिशतों को मौजूदा स्कोर नहीं समझना चाहिए। आगे जो काम आता है वह तरीक़ा और विफलता के पैटर्न हैं, और बाद के काम, जैसे RAID बेंचमार्क, ने कहीं बड़े पैमाने पर इसी तरह की कमज़ोरियाँ पाईं।

अगर आप AI सहायता से लिखते हैं तो इसका मतलब

अगर आप शोधकर्ता या छात्र हैं, तो तीन व्यावहारिक बातें निकलती हैं। पहली, देखें कि आपका संस्थान या लक्षित जर्नल असल में क्या अनुमति देता है, और जहाँ ज़रूरी हो वहाँ AI इस्तेमाल का प्रकटीकरण करें। दूसरी, अपने ड्राफ़्ट, नोट्स और वर्ज़न हिस्ट्री रखें; अध्ययन के लेखक ज़ोर देते हैं कि डिटेक्टर कोई सबूत नहीं देते, और आपकी अपनी प्रक्रिया के रिकॉर्ड सबसे मज़बूत सबूत हैं जो आपके पास हो सकते हैं (देखें ड्राफ़्ट हिस्ट्री अकादमिक ईमानदारी में कैसे मदद करती है)। तीसरी, अगर आप फ़्लैग होते हैं, तो प्रकाशित त्रुटि दरें मानवीय समीक्षा माँगने का उचित आधार देती हैं। हमारा गाइड गलत तरीक़े से AI के रूप में फ़्लैग होने पर क्या करें उस बातचीत के बारे में बताता है। अगर कोई प्रशिक्षक फ़्लैग उठाए, तो प्रोफ़ेसर AI कैसे पकड़ते हैं बताता है कि स्कोर के अलावा वे आम तौर पर और क्या देखते हैं।

Academic Humanizer की भूमिका

ऐसे ही अध्ययनों की वजह से Academic Humanizer मौजूद है: औपचारिक, सावधानी से संपादित विद्वत्तापूर्ण गद्य डिटेक्टरों की खींची रेखा के क़रीब बैठ सकता है, और अच्छे विचारों पर गलत ठप्पा लग जाता है। Humanizer ड्राफ़्ट को वाक्य-दर-वाक्य स्कैन करता है, सिर्फ़ डिटेक्टरों द्वारा फ़्लैग वाक्य दोबारा लिखता है, और बाक़ी को ठीक वैसा ही छोड़ता है जैसा आपने लिखा, आपके दावे, संख्याएँ और उद्धरण बरक़रार रखते हुए। बिल्ट-इन AI Detection Report हर फ़्लैग वाक्य को उसके रीराइट के बगल में दिखाती है और दोनों संस्करणों की एक ही पैमाने पर तुलना करती है, ताकि आप देख सकें कि क्या बदला और इस्तेमाल से पहले हर पंक्ति की ख़ुद समीक्षा कर सकें।