How Do AI Detectors Work? आपका अपना लेखन AI फ़्लैग क्यों होता है

AI डिटेक्टर अर्थ पढ़कर नहीं, यह मापकर काम करते हैं कि कोई टेक्स्ट language model को कितना अनुमान-योग्य लगता है, और इसी वजह से आपका अपना लेखन भी AI के रूप में फ़्लैग हो सकता है। कुछ perplexity और burstiness जैसी सरल सांख्यिकी इस्तेमाल करते हैं, कुछ लेबल किए गए उदाहरणों पर प्रशिक्षित classifier, और कुछ generation के समय टेक्स्ट में डाले गए छिपे watermarks। इनमें से कोई नहीं जानता कि टेक्स्ट किसने लिखा। वे बस परखते हैं कि उसका पैटर्न मशीन के आउटपुट जैसा है या नहीं।

हर तरीके की एक अलग कमज़ोरी है, और लगभग सभी में एक बात साझा है: सावधानी से लिखा, औपचारिक, परंपरागत गद्य स्वभाव से अनुमान-योग्य होता है। इसीलिए अच्छी तरह संपादित methods सेक्शन किसी बिखरे ब्लॉग पोस्ट से ज़्यादा "AI" के क़रीब स्कोर कर सकता है। यहाँ बताया गया है कि मुख्य तरीके कैसे काम करते हैं, रिसर्च उनकी सीमाओं के बारे में क्या कहती है, और अकादमिक लेखन फ़ैसले की रेखा के इतने पास क्यों रहता है।

मूल संकेत: model कितना चौंकता है?

Language model हर संभव अगले शब्द (ज़्यादा सटीक रूप से, हर अगले token) को एक probability देता है। जब model टेक्स्ट बनाता है, तो वह ऊँची probability वाले tokens चुनता है, क्योंकि उससे sampling का यही नतीजा होता है। इंसानी लेखक इस नियम से बँधे नहीं हैं। हम कोई अनोखी क्रिया चुनते हैं, तीन पेज पहले के किसी ब्योरे का हवाला देते हैं, या ज़ोर देने के लिए पैटर्न तोड़ते हैं।

Perplexity इसे एक संख्या में बदलती है। किसी अंश को model से गुज़ारें, पूछें कि पहले आए शब्दों के आधार पर हर token कितना संभावित था, और नतीजे का औसत निकालें। कम perplexity का मतलब है कि model को टेक्स्ट का अनुमान लगाना आसान लगा। ऊँची perplexity का मतलब है कि वह बार-बार चौंकता रहा। GPTZero का अपना explainer perplexity को लगभग इन्हीं शब्दों में परिभाषित करता है और ऊँचे स्कोर को इंसानी लेखन का संकेत मानता है (GPTZero)।

The results of this study suggest that soil moisture plays an important role in seedling survival, though only after the second frost.

हरा: वे tokens जिनकी model को उम्मीद थी। सामान्य: विषय के शब्द। लाल: वे tokens जो model को असंभावित लगे। पहला आधा हिस्सा टेम्पलेट जैसा पढ़ा जाता है; आख़िर में आया शर्त वाला हिस्सा वही है जिस पर इंसानी पाठक, और डिटेक्टर, ध्यान देते हैं।

यह विचार ChatGPT से पुराना है। Harvard और IBM के शोधकर्ताओं का 2019 का टूल GLTR हर शब्द को model की भविष्यवाणियों में उसकी रैंक के हिसाब से रंग देता था ताकि इंसान generated टेक्स्ट पहचान सकें। उनके अध्ययन में इस visualization ने बिना प्रशिक्षण वाले पाठकों की पहचान दर 54% से बढ़ाकर 72% कर दी (Gehrmann et al., ACL 2019 demo)।

Burstiness: वाक्यों के बीच उतार-चढ़ाव

Perplexity tokens पर मापी जाती है। Burstiness एक स्तर ऊपर देखती है: वाक्य-दर-वाक्य अनुमान-योग्यता कितनी बदलती है। इंसानी गद्य बदलता रहता है। एक छोटी सीधी लाइन, फिर दो आश्रित उपवाक्यों और एक कोष्ठक वाला लंबा वाक्य, फिर एक अधूरा वाक्यांश। Generated टेक्स्ट अक्सर ज़्यादा स्थिर लय रखता है, एक जैसी लंबाई और बनावट वाले वाक्यों के साथ।

Burstiness पर नज़र रखने वाला डिटेक्टर पूछता है कि क्या अंश में ये उछाल और गिरावट हैं। सपाट प्रोफ़ाइल स्कोर को "AI" की ओर धकेलती है। दिक़्क़त यह है कि कई विधाएँ जानबूझकर सपाट होती हैं। Abstracts, protocol विवरण, और कानूनी या नियामक टेक्स्ट, सभी एक जैसे वाक्यों को इनाम देते हैं।

Perplexity और burstiness समझाना आसान है, इसीलिए लोकप्रिय लेखों में इन्हीं का बोलबाला है। लेकिन अब ये पूरी कहानी नहीं हैं। GPTZero ख़ुद कहता है कि वह deep learning architecture पर चला गया है और अब इन दोनों मापों को अपने संकेतों का एक हिस्सा मानता है, मुख्य तरीका नहीं।

प्रशिक्षित classifiers

आज ज़्यादातर व्यावसायिक डिटेक्टर supervised classifiers हैं। एक टीम इंसानों और मशीनों के लिखे टेक्स्ट के बड़े सेट जुटाती है, उन्हें लेबल करती है, और उनमें फ़र्क़ करने के लिए एक neural network को fine-tune करती है। Network वह सब सीखता है जो दोनों ढेरों को अलग करता है: शब्द-चयन, वाक्यांशों की आवृत्ति, विराम चिह्न की आदतें, पैराग्राफ़ का आकार, और ऐसे पैटर्न जिनका किसी ने नाम नहीं रखा।

Classifiers अपने प्रशिक्षण डेटा जैसे टेक्स्ट पर बहुत सटीक हो सकते हैं। Ghostbuster, एक रिसर्च सिस्टम जो कई कमज़ोर language models के features को एक classifier में डालता है, ने अपने बेंचमार्क पर अलग-अलग domains में 99.0 F1 बताया (Verma et al., NAACL 2024)। समस्या है बहाव (drift)। Models की एक पीढ़ी, विधाओं के एक सेट और एक decoding सेटिंग पर प्रशिक्षित classifier इनमें से कुछ भी बदलने पर लड़खड़ा सकता है। RAID बेंचमार्क ने, 11 models, 8 domains और 11 adversarial attacks में 60 लाख से ज़्यादा generations के साथ, पाया कि sampling रणनीति में बदलाव, अनदेखे models और सरल हमलों से डिटेक्टर आसानी से धोखा खा जाते हैं (Dugan et al., ACL 2024)।

सबसे साफ़ सबक OpenAI से आया। जनवरी 2023 में जारी उसके अपने AI text classifier ने अपने challenge set में AI से लिखे टेक्स्ट का सिर्फ़ 26% सही फ़्लैग किया और 9% इंसानी टेक्स्ट पर गलत लेबल लगाया। OpenAI ने कम सटीकता का हवाला देकर जुलाई 2023 में इसे वापस ले लिया (OpenAI)।

Zero-shot सांख्यिकीय तरीके

डिटेक्टरों का दूसरा परिवार प्रशिक्षण को पूरी तरह छोड़ देता है। ये zero-shot तरीके किसी अंश को परखने के लिए language model की अपनी probabilities इस्तेमाल करते हैं।

Stanford का DetectGPT एक अवलोकन पर टिका है: model से sample किया गया टेक्स्ट उस model की log probability की स्थानीय चोटी पर होता है। दूसरे model (लेखकों ने T5 इस्तेमाल किया) से कुछ शब्द हिलाएँ, तो मशीनी टेक्स्ट तेज़ी से probability खोता है, जबकि इंसानी टेक्स्ट कम अनुमान-योग्य ढंग से बदलता है। 20B parameter वाले model की फ़र्ज़ी ख़बरों पर DetectGPT ने 0.95 AUROC हासिल किया, जबकि सबसे मज़बूत zero-shot baseline ने 0.81 (Mitchell et al., ICML 2023)।

• मशीन से बना अंश
• इंसान का लिखा अंश

उदाहरण के तौर पर आकार, Mitchell et al. (2023) के बताए तरीके पर आधारित

DetectGPT महँगा है, क्योंकि वह हर अंश की कई बदली हुई प्रतियों का स्कोर निकालता है। Fast-DetectGPT ने perturbation चरण की जगह एक सस्ता sampling अनुमान रखा और लगभग 75% सापेक्ष सुधार और 340x गति-बढ़त बताई (Bao et al., ICLR 2024)। Binoculars यह तुलना करता है कि दो क़रीबी संबंधित models एक ही टेक्स्ट को कैसे स्कोर करते हैं, और इसने ChatGPT डेटा पर प्रशिक्षण के बिना 0.01% false positive rate पर ChatGPT के 90% से ज़्यादा samples पकड़ने की बात बताई (Hans et al., ICML 2024)।

Watermarks

Watermarking डिटेक्शन को generation के क्षण पर ले जाती है। Kirchenbauer और साथियों के प्रस्तावित तरीके में model हर कदम पर पिछले token के hash से अपनी शब्दावली को "green" और "red" सूचियों में बाँटता है, फिर sampling को green tokens की ओर हल्का-सा झुकाता है। Hashing नियम जानने वाला डिटेक्टर green tokens गिनता है और एक सांख्यिकीय परीक्षण चलाता है। इंसानी टेक्स्ट संयोग के आसपास रहता है; watermark वाले टेक्स्ट में green बहुत ज़्यादा होते हैं (Kirchenbauer et al., ICML 2023)।

Watermarks तभी काम करते हैं जब टेक्स्ट लिखने वाले model ने इसे लागू किया हो, और सिर्फ़ उन डिटेक्टरों के लिए जो key जानते हैं। भारी संपादन के बाद ये कमज़ोर भी पड़ते हैं। Krishna et al. ने दिखाया कि एक प्रशिक्षित paraphraser ने 1% false positive rate पर DetectGPT की detection rate 70.3% से घटाकर 4.6% कर दी, और watermark डिटेक्शन भी कमज़ोर हुआ (Krishna et al., NeurIPS 2023)। इसलिए व्यवहार में आपके विश्वविद्यालय या जर्नल के डिटेक्टर classifiers और सांख्यिकीय scorers हैं, watermark पढ़ने वाले नहीं।

वाक्य स्कोर बनाम दस्तावेज़ स्कोर

डिटेक्टर अलग-अलग स्तर पर नतीजे देते हैं। कुछ पूरे दस्तावेज़ के लिए एक probability लौटाते हैं। दूसरे हर वाक्य या छोटे हिस्से का स्कोर निकालते हैं, संदिग्ध वाक्यों को हाइलाइट करते हैं, और फिर उन्हें जोड़कर एक प्रतिशत बनाते हैं। उदाहरण के लिए Turnitin वाक्यों को हाइलाइट करता है और अपने मार्गदर्शन में लगभग 4% की वाक्य-स्तर false positive rate बता चुका है (Turnitin)।

वाक्य-स्तर का स्कोर ज़्यादा जानकारी देता है लेकिन ज़्यादा शोर भरा है। एक वाक्य में कम tokens होते हैं, इसलिए उसकी perplexity का अनुमान अस्थिर होता है। दस्तावेज़ का स्कोर ज़्यादा स्थिर है लेकिन छिपा देता है कि समस्या कहाँ है। इस समझौते पर हम वाक्य-स्तर पर AI डिटेक्शन में विस्तार से बात करते हैं, और अलग-अलग टूल क्यों असहमत होते हैं, इस पर AI डिटेक्टर आपस में असहमत क्यों होते हैं में।

औपचारिक अकादमिक गद्य सीमा-रेखा के पास क्यों रहता है

ऊपर का हर तरीका चौंकाने को इनाम देता है और परंपरा को सज़ा। अकादमिक लेखन परंपरा पर ही बना है। विषय अपने वाक्यांशों को मानक बनाते हैं ताकि पाठक पेपर जल्दी पढ़ सकें: "Participants were randomly assigned to", "These findings are consistent with", "Further research is needed to"। Style guides सजावट को हतोत्साहित करती हैं। गैर-मूल लेखक अक्सर संकरी, सुरक्षित शब्दावली पर निर्भर करते हैं। यह सब perplexity घटाता है।

सबसे साफ़ सबूत Stanford के Liang et al. से आता है। उन्होंने सात डिटेक्टरों को गैर-मूल अंग्रेज़ी बोलने वालों के TOEFL निबंधों और अमेरिका के आठवीं कक्षा के छात्रों के निबंधों पर चलाया। मूल वक्ताओं के निबंधों पर डिटेक्टर लगभग पूरी तरह सही थे, लेकिन TOEFL निबंधों को औसतन 61.3% बार AI बता दिया। जब शोधकर्ताओं ने ChatGPT से उन्हीं निबंधों की शब्दावली समृद्ध की, तो औसत false positive rate घटकर 11.6% रह गई (Liang et al., Patterns 2023)।

• मूल निबंध61.3%
• शब्दावली समृद्ध करने के बाद11.6%

स्रोत: Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

सबक यह नहीं है कि डिटेक्टर बेकार हैं। सबक यह है कि उनके स्कोर लेखक जितना ही शैली को भी दर्शाते हैं। सादी, अनुशासित अंग्रेज़ी लिखने वाला सावधान शोधकर्ता बिना किसी AI के रेखा के गलत तरफ़ पहुँच सकता है। इस असर को हम Liang अध्ययन की हमारी समीक्षा और औपचारिक गद्य AI का लिखा क्यों लग सकता है में और क़रीब से देखते हैं। अपने विचार बरक़रार रखने वाली सुधार की तकनीकों के लिए अकादमिक लेखन में AI डिटेक्शन से कैसे बचें देखें।

Academic Humanizer कहाँ फ़िट होता है

Academic Humanizer इसी आख़िरी समस्या के लिए बना है। Humanizer ड्राफ़्ट को वाक्य-दर-वाक्य स्कैन करता है, सिर्फ़ उन वाक्यों को दोबारा लिखता है जिन्हें डिटेक्टर फ़्लैग करते हैं, और बाकी को बिल्कुल वैसा ही छोड़ता है जैसा आपने लिखा, आपके तर्क, संख्याएँ, citations और शब्दावली बनाए रखते हुए। बिल्ट-इन AI Detection Report हर फ़्लैग हुए वाक्य को उसके rewrite के बगल में दिखाती है और दोनों संस्करणों की तुलना करती है, और नतीजों को Turnitin, GPTZero और Originality.ai समेत डिटेक्टरों से जाँचा जाता है। जमा किए जाने वाले काम पर कोई भी टूल इस्तेमाल करने से पहले अपने संस्थान या जर्नल की AI नीति देखें, और आउटपुट कहीं भेजने से पहले उसे ख़ुद पढ़ें।