Are AI Detectors Biased? Non-Native English लेखकों पर False Positive

क्या AI डिटेक्टर पक्षपाती हैं? सबसे चर्चित टेस्ट में, हाँ: उन्होंने मूल अंग्रेज़ी बोलने वालों की तुलना में गैर-मूल अंग्रेज़ी बोलने वालों के लेखन पर कहीं ज़्यादा false positive दिए। यही "GPT detectors are biased against non-native English writers" का केंद्रीय निष्कर्ष है, जो Stanford के Weixin Liang, James Zou और साथियों का 2023 का अध्ययन है और Patterns जर्नल में प्रकाशित हुआ। सात लोकप्रिय डिटेक्टरों ने असली छात्रों के लिखे TOEFL निबंधों में से औसतन 61% को AI-generated बताया, जबकि अमेरिका के आठवीं कक्षा के छात्रों के निबंधों को लगभग पूरी तरह सही पहचाना।

अंतरराष्ट्रीय शोधकर्ताओं और छात्रों के लिए यह पेपर सबसे साफ़ सबूत है कि डिटेक्टर का फ़ैसला इस बात को दर्शा सकता है कि आप अंग्रेज़ी कैसे लिखते हैं, न कि आपने AI इस्तेमाल किया या नहीं। यहाँ बताया गया है कि अध्ययन कैसे हुआ, पूर्वाग्रह क्यों होता है, और तब से क्या बदला है।

Liang et al. का अध्ययन कैसे तैयार किया गया

डिज़ाइन सरल है, और यही इसके इतने असरदार होने का एक कारण है। लेखकों ने पूरी तरह इंसानों के लिखे निबंधों के दो सेट जुटाए:

• 91 TOEFL निबंध गैर-मूल अंग्रेज़ी बोलने वालों के, एक चीनी शैक्षिक फ़ोरम से जुटाए गए।
• अमेरिका के आठवीं कक्षा के छात्रों के 88 निबंध, Hewlett Foundation के Automated Student Assessment Prize dataset से लिए गए।

उन्होंने हर निबंध को उस समय व्यापक रूप से इस्तेमाल होने वाले सात डिटेक्टरों से गुज़ारा: Originality.AI, Quill.org, Sapling, OpenAI का classifier, Crossplag, GPTZero और ZeroGPT। क्योंकि सभी निबंध इंसानों के लिखे थे, इसलिए हर AI फ़ैसला एक false positive था।

नतीजे: 61% TOEFL निबंध फ़्लैग

अमेरिकी निबंधों पर डिटेक्टर लगभग पूरी तरह सही थे। TOEFL निबंधों पर सातों टूल की औसत false positive rate 61.22% रही। इससे भी बुरा, गलतियाँ बेतरतीब ढंग से बिखरी नहीं थीं।

91 में से अठारह निबंधों को हर एक डिटेक्टर ने AI-generated बताया। और 91 में से 89 को कम से कम एक ने फ़्लैग किया। अगर कोई शिक्षक या संपादक किसी गैर-मूल लेखक का निबंध जो भी टूल हाथ में हो उससे जाँचे, तो ये आँकड़े कम से कम एक गलत चेतावनी की ऊँची संभावना दिखाते हैं।

ऐसा क्यों होता है: perplexity और सीमित शब्दावली

कई डिटेक्टर perplexity पर टिके हैं, जो मापती है कि कोई टेक्स्ट language model को कितना चौंकाता है। मशीन के आउटपुट की perplexity आम तौर पर कम होती है क्योंकि models संभावित शब्द चुनते हैं। मुश्किल यह है कि इंसानी लेखन की perplexity भी पूरी तरह मासूम कारणों से कम हो सकती है।

दूसरी भाषा में लिखने वाले अक्सर छोटी, सुरक्षित शब्दावली और ज़्यादा आम वाक्य-रचनाएँ इस्तेमाल करते हैं। यह उनकी सोच की कमी नहीं है; ज़्यादातर लोग बाद में सीखी भाषा में ऐसे ही लिखते हैं। लेकिन language model के लिए ये चुनाव अनुमान-योग्य हैं, और अनुमान-योग्य मशीन का बना लगता है। लेखकों ने perplexity को सीधे मापा और पाया कि TOEFL निबंधों की perplexity अमेरिकी निबंधों से काफ़ी कम थी।

• मशीन से बना टेक्स्ट
• गैर-मूल इंसानी लेखन

प्रक्रिया समझाने वाला उदाहरण, पेपर का डेटा नहीं

शब्दावली समृद्ध करने का प्रयोग

यह परखने के लिए कि क्या सच में शब्दावली ही पूर्वाग्रह की वजह है, लेखकों ने ChatGPT को संपादक बनाकर प्रयोग दोनों दिशाओं में किया।

• गैर-मूल निबंधों को समृद्ध करना। उन्होंने ChatGPT से TOEFL निबंधों के शब्द-चयन सुधारने को कहा ताकि वे मूल वक्ता जैसे लगें। औसत false positive rate 61.22% से गिरकर 11.77% रह गई, और 91 में से सिर्फ़ 1 निबंध अब भी सातों डिटेक्टरों से फ़्लैग हुआ।
• मूल निबंधों को सरल बनाना। उन्होंने ChatGPT से अमेरिकी निबंधों के शब्द-चयन सरल करने को कहा ताकि वे गैर-मूल लेखन जैसे लगें। गलत वर्गीकरण औसतन 5.19% से बढ़कर 56.65% हो गया।

• TOEFL निबंध, मूल61.22%
• TOEFL निबंध, शब्द-चयन समृद्ध11.77%
• अमेरिकी आठवीं कक्षा के निबंध, मूल5.19%
• अमेरिकी आठवीं कक्षा के निबंध, शब्द-चयन सरल56.65%

स्रोत: Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

हर निबंध की सामग्री वही रही। सिर्फ़ शब्दावली बदली, और फ़ैसले हर दिशा में लगभग पचास प्रतिशत अंक झूल गए। लेखकों ने दूसरा पहलू भी दिखाया: ChatGPT से अपने ही college निबंधों और वैज्ञानिक abstracts को ज़्यादा साहित्यिक भाषा में दोबारा लिखवाने से डिटेक्शन तेज़ी से गिरा। Abstracts के लिए डिटेक्शन 68% तक से गिरकर 28% तक रह गया। उनका निष्कर्ष था कि मौजूदा रूप में डिटेक्टर सीमित भाषाई अभिव्यक्ति वाले लेखकों को सज़ा दे सकते हैं, जबकि ठान लेने वाले उपयोगकर्ता आसानी से उनसे बच सकते हैं।

अंतरराष्ट्रीय शोधकर्ताओं के लिए इसका क्या मतलब है

वैज्ञानिक अंग्रेज़ी पहले से ही सबको मानक वाक्यांशों की ओर धकेलती है। उसमें दूसरी भाषा में लिखना जोड़ दें, और कई अंतरराष्ट्रीय शोधकर्ताओं का गद्य ठीक उस क्षेत्र में आ जाता है जिसे डिटेक्टर मशीनों से जोड़ते हैं। इससे कुछ व्यावहारिक बातें निकलती हैं, और अकादमिक लेखन में AI डिटेक्शन से कैसे बचें वाली हमारी गाइड उन्हें सुधार के क़दमों में बदलती है।

• फ़्लैग होना कदाचार का सबूत नहीं है। लेखकों ने मूल्यांकन या शैक्षिक संदर्भों में डिटेक्टरों के इस्तेमाल के ख़िलाफ़ साफ़ चेतावनी दी। अगर आप फ़्लैग हुए हैं, तो हमारी गाइड गलती से AI के रूप में फ़्लैग होने पर क्या करें बताती है कि कैसे जवाब दें।
• अपनी प्रक्रिया दिखती रखें। ड्राफ़्ट, नोट्स और version history किसी विवादित स्कोर का सबसे मज़बूत जवाब हैं। देखें ड्राफ़्ट history अकादमिक ईमानदारी में कैसे मदद करती है।
• औपचारिक होना मशीन का बना होना नहीं है। यही प्रक्रिया समझाती है कि मूल वक्ताओं का भी औपचारिक गद्य AI का लिखा क्यों लग सकता है।

अध्ययन की सीमाएँ और बाद का काम

अध्ययन की असली सीमाएँ हैं। Samples छोटे हैं, 91 और 88 निबंध, और ये रिसर्च पेपर नहीं, छात्रों के निबंध हैं। डिटेक्टर 2023 की शुरुआत में परखे गए थे, और तब से हर विक्रेता ने अपने models अपडेट किए हैं। OpenAI ने उसी साल बाद में अपना classifier वापस ले लिया। इसलिए सटीक प्रतिशत उस समय के उन टूल का वर्णन करते हैं, आज के संस्करणों का नहीं।

बाद की रिसर्च मिली-जुली तस्वीर देती है। ICML 2024 में प्रस्तुत zero-shot डिटेक्टर Binoculars के लेखकों ने गैर-मूल लेखकों के निबंध मूल और व्याकरण-सुधारे रूप में परखे और दोनों पर 99.67% सटीकता बताई, जो सुझाता है कि कुछ तरीके इस असर के प्रति कम संवेदनशील हैं। दूसरी ओर, Fast-DetectGPT के लेखकों ने गैर-मूल लेखन पर ऊँची false positive rate को अपने प्रकार के डिटेक्टरों के लिए जोखिम बताया। इन तरीकों की तुलना हम Fast-DetectGPT और Binoculars समझें में करते हैं। बुनियादी तनाव ख़त्म नहीं हुआ है: जो भी डिटेक्टर चौंकाने वाले शब्द-चयन को इनाम देता है, उसे सादी, सावधान अंग्रेज़ी का फ़ैसला करना कठिन लगेगा।

Academic Humanizer इसे कैसे देखता है

Academic Humanizer उन शोधकर्ताओं के लिए बना है जिनके अपने विचारों पर मशीनी टेक्स्ट का गलत लेबल लग जाता है, जिनमें अंग्रेज़ी को दूसरी भाषा के रूप में लिखने वाले बहुत-से लोग भी हैं। यह ड्राफ़्ट को वाक्य-दर-वाक्य जाँचता है, सिर्फ़ उन वाक्यों को दोबारा लिखता है जिन्हें डिटेक्टर फ़्लैग करते हैं, और आपके दावे, संख्याएँ, citations और विषय की शब्दावली बरकरार रखता है; जो वाक्य पहले से इंसानी माने गए, वे बिल्कुल वैसे ही रहते हैं जैसे आपने लिखे। AI Detection Report हर बदलाव आमने-सामने दिखाती है ताकि अंतिम शब्दों को आप मंज़ूरी दें, और साथ में अपने जर्नल या संस्थान की AI नीति की पुष्टि करना अच्छी आदत है।