Are AI Detectors Reliable? क्या AI टेक्स्ट भरोसे से पकड़ा जा सकता है

क्या AI डिटेक्टर भरोसेमंद हैं? Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang और Soheil Feizi के 2023 के पेपर "Can AI-Generated Text Be Reliably Detected?" के अनुसार, तब नहीं जब कोई सक्रिय रूप से उनसे बचने की कोशिश कर रहा हो, और language models जितने इंसानी लगने लगें, उतना ही कम। यह पेपर, जो बाद में Transactions on Machine Learning Research में प्रकाशित हुआ, AI डिटेक्टरों पर बहस में सबसे ज़्यादा उद्धृत तर्कों में से एक बन गया।

इसने तीन दावे किए। मशीन के टेक्स्ट को paraphrase करना, ख़ासकर बार-बार, हर बड़े प्रकार के डिटेक्टर को मात देता है। डिटेक्टरों को spoof करके इंसानी टेक्स्ट को फ़्लैग करवाया जा सकता है। और कोई भी डिटेक्टर कितना अच्छा हो सकता है, इसकी एक गणितीय सीमा है। यह पोस्ट हर दावे को समझाती है, फिर उस काम को देखती है जिसने इन पर आपत्ति की।

दावा 1: recursive paraphrasing डिटेक्टरों को तोड़ देता है

यह हमला समझाना आसान है। किसी language model का लिखा अंश लें और उसे एक paraphrasing model से गुज़ारें। फिर उस paraphrase का paraphrase करें, और दोहराते जाएँ। लेखक इसे recursive paraphrasing कहते हैं, और उन्होंने इसे लगभग 300 tokens के अंशों पर कई paraphrasers से परखा, जिनमें DIPPER भी था, जो किसी दूसरी टीम का बनाया 11 अरब parameter वाला model है और ठीक इसी तरह के अध्ययन के लिए बना था।

उन्होंने इसे चार डिटेक्टर परिवारों पर आज़माया:

• Watermark डिटेक्टर, जो generation के समय डाले गए छिपे सांख्यिकीय पैटर्न को खोजते हैं। ये कैसे काम करते हैं, यह हमारे LLM watermarking पेपर वाले लेख में है।
• प्रशिक्षित classifiers, जैसे OpenAI का जारी किया RoBERTa-आधारित डिटेक्टर।
• Zero-shot डिटेक्टर, जैसे DetectGPT, जो model की अपनी probabilities पढ़ते हैं।
• Retrieval डिटेक्टर, जो किसी अंश की तुलना उस डेटाबेस से करते हैं जिसमें model का बनाया सब कुछ होता है।

• Watermark, मूल (1% FPR पर TPR)99.3%
• Watermark, recursive paraphrasing के बाद9.7%
• Zero-shot डिटेक्टर, मूल (AUROC)96.5%
• Zero-shot डिटेक्टर, paraphrasing के बाद (AUROC)25.2%

स्रोत: Sadasivan et al., "Can AI-Generated Text be Reliably Detected?", arXiv 2303.11156

Watermark वाले टेक्स्ट में recursive paraphrasing ने 1% false positive rate पर true positive rate को 99.3% से गिराकर 9.7% कर दिया। Zero-shot डिटेक्टर का AUROC 96.5% से गिरकर 25.2% रह गया, जो अंधाधुंध अनुमान से भी बुरा है। लेखकों ने मानव मूल्यांकन भी किया और बताया कि paraphrases ने ज़्यादातर अपना अर्थ और व्याकरण बनाए रखा, हालाँकि कुछ मामलों में गुणवत्ता गिरी।

दावा 2: डिटेक्टरों को spoof किया जा सकता है

दूसरा हमला उल्टी दिशा में चलता है: इंसानी टेक्स्ट को मशीन का बना दिखाना। लेखकों ने दिखाया कि जो हमलावर सिर्फ़ watermark वाले model से सवाल पूछता है, डिटेक्टर का काम देखे बिना, वह अनुमान लगा सकता है कि watermark किन शब्दों को तरजीह देता है। उन शब्दों से लिखने पर इंसानी टेक्स्ट watermark को सक्रिय कर देता है। उनके प्रयोग में spoofing ने soft watermark की detection AUROC को 99.8% से 1.3% तक गिरा दिया, यानी डिटेक्टर असली watermark वाले टेक्स्ट और जाली टेक्स्ट में फ़र्क़ नहीं कर पा रहा था।

जिनके काम की जाँच डिटेक्टर करते हैं, उनके लिए यह ज़्यादा असहज नतीजा है। जिस डिटेक्टर को धोखा देकर इंसानी लेखन पर आरोप लगवाया जा सके, वह सिर्फ़ model बनाने वाले के लिए नहीं, बल्कि उन लोगों की साख के लिए भी जोखिम है जिनका वह फ़ैसला करता है।

दावा 3: AUROC की सीमा

सैद्धांतिक नतीजा डिटेक्शन को एक अकेली संख्या से जोड़ता है। इंसान जो भी टेक्स्ट लिख सकते हैं, उसे एक probability distribution मानें, और model जो भी लिख सकता है उसे दूसरा। इनके बीच की total variation distance, TV, मापती है कि दोनों कितने अलग हैं, 0 (एक जैसे) से 1 (कोई ओवरलैप नहीं) तक। पेपर साबित करता है कि किसी भी डिटेक्टर के लिए:

AUROC ≤ 1/2 + TV − TV²/2

जब TV बड़ा हो, तो सीमा ढीली होती है और अच्छा डिटेक्टर संभव है। जैसे-जैसे models बेहतर होते हैं और उनका आउटपुट इंसानी लेखन के क़रीब आता है, TV घटता है और सबसे अच्छा हासिल किया जा सकने वाला AUROC 0.5 की ओर खिसकता है, यानी सिक्का उछालने जैसा।

मान पेपर की सीमा से गणना किए गए हैं; ये प्रयोग के नतीजे नहीं हैं।

• Distributions दूर-दूर
• Distributions पास-पास

सीमा का अर्थ समझाने वाला उदाहरण, पेपर का डेटा नहीं

जवाबी तर्क

पेपर पर कड़ी प्रतिक्रियाएँ आईं। तीन जानने लायक हैं।

ज़्यादा टेक्स्ट से डिटेक्शन फिर संभव होता है

Souradip Chakraborty और साथियों ने ICML 2024 के एक position पेपर, "Position: On the Possibilities of AI-Generated Text Detection", में तर्क दिया कि यह सीमा एक अकेले sample पर लागू होती है। अगर डिटेक्टर ज़्यादा टेक्स्ट देखे, यानी लंबे अंश या एक ही स्रोत के कई samples, तो distributions में फ़र्क़ करना आसान हो जाता है, और डिटेक्शन तब तक संभव रहता है जब तक इंसानी और मशीन का टेक्स्ट अपनी पूरी सीमा में एक जैसा न हो। उन्होंने यह भी निकाला कि कितना टेक्स्ट चाहिए। संक्षेप में: प्रति sample सीमा असली है, लेकिन लंबाई के साथ ऊपर उठती है।

Watermarks उम्मीद से ज़्यादा टिकते हैं

मूल green-list तरीके के पीछे की watermarking टीम ने, John Kirchenbauer के नेतृत्व में, "On the Reliability of Watermarks for Large Language Models" (ICLR 2024) में इसका अध्ययन किया। उन्होंने पाया कि इंसानी और मशीनी, दोनों तरह के paraphrasing के बाद भी watermarks पहचाने जा सकते थे, क्योंकि paraphrases मूल के टुकड़े बनाए रखते हैं। भारी इंसानी rewording वाली एक स्थिति में watermark बहुत कम false positive rate पर औसतन लगभग 800 tokens के बाद पहचाना जा सका।

बचाव के रूप में retrieval

DIPPER बनाने वाले Kalpesh Krishna और साथियों ने अपने NeurIPS 2023 पेपर में प्रस्ताव रखा कि model प्रदाता अपने आउटपुट सेव करके उनमें खोज कर सकता है। 1.5 करोड़ सेव की गई generations के साथ उन्होंने 1% false positive rate पर paraphrase किए गए 80% से 97% आउटपुट पकड़ लिए। Sadasivan et al. ने जवाब दिया कि recursive paraphrasing retrieval को भी कमज़ोर करता है। DIPPER पर हमारा लेख है DIPPER paraphrasing AI डिटेक्टरों से कैसे बचता है।

व्यवहार में इसका क्या मतलब है

बहस एक उचित बीच की स्थिति पर आकर ठहरती है। डिटेक्शन छोटे टेक्स्ट की तुलना में लंबे टेक्स्ट पर बेहतर काम करता है, तब बेहतर काम करता है जब डिटेक्टर जानता हो कि किस model की उम्मीद करनी है, और models और rewriting टूल के सुधरने के साथ कमज़ोर होता जाता है। कोई भी जवाबी तर्क यह दावा नहीं करता कि एक अकेले पैराग्राफ़ का फ़ैसला निश्चितता से किया जा सकता है। एक कमर्शियल डिटेक्टर के साथ यह कैसे होता है, इसके लिए क्या Turnitin humanized टेक्स्ट पकड़ सकता है? देखें।

• छोटे अंशों में सबसे ज़्यादा अनिश्चितता होती है। Abstract या एक अकेला पैराग्राफ़ ठीक वहीं है जहाँ प्रति-sample सीमा असर दिखाती है। RAID जैसे बेंचमार्क दिखाते हैं कि प्रदर्शन अलग-अलग स्थितियों में कैसे बदलता है।
• गलतियाँ दोनों तरफ़ होती हैं। डिटेक्टर दोबारा लिखे गए मशीनी टेक्स्ट को चूक जाते हैं और इंसानी टेक्स्ट को फ़्लैग भी कर सकते हैं, जैसा गैर-मूल लेखकों के प्रति पूर्वाग्रह पर काम दिखाता है।
• स्कोर एक संभावना है, फ़ैसला नहीं। जो संस्थान इसे सबूत मानते हैं, वे रिसर्च से समर्थित निश्चितता से ज़्यादा पर भरोसा कर रहे हैं।

Academic Humanizer कहाँ फ़िट होता है

अगर पैराग्राफ़ के स्तर पर डिटेक्शन अनिश्चित है, तो ईमानदार लेखकों के लिए समझदारी यह है कि अनुमान लगाने के बजाय उन वाक्यों को देखें जो स्कोर तय करते हैं। Academic Humanizer ड्राफ़्ट में उन वाक्यों को खोजता है जिन्हें डिटेक्टर फ़्लैग करते हैं, अर्थ, संख्याएँ और citations बनाए रखते हुए सिर्फ़ उन्हें दोबारा लिखता है, और इंसानी माने गए वाक्यों को वैसा ही छोड़ता है। इसकी AI Detection Report पहले और बाद के संस्करणों की तुलना एक ही पैमाने पर करती है और साफ़ बताती है कि कुछ अब भी फ़्लैग है या नहीं। हर बदलाव की समीक्षा और मंज़ूरी आप करते हैं, और अपने संस्थान या जर्नल की AI नीति जाँचना काम का हिस्सा बना रहता है।