Fast-DetectGPT और Binoculars Explained: सस्ता AI टेक्स्ट डिटेक्शन

Fast-DetectGPT और Binoculars दो zero-shot AI टेक्स्ट डिटेक्टर हैं जिन्होंने DetectGPT के विचार को इतना सस्ता बना दिया कि उसे बड़े पैमाने पर चलाया जा सके। दोनों यह तय करते हैं कि कोई अंश मशीन का लिखा है या नहीं, यह पूछकर कि उसके शब्द किसी language model के लिए कितने अनुमान-योग्य हैं, और दोनों यह DetectGPT के सौ rewrites की जगह एक ही दौर में करते हैं। Fast-DetectGPT ICLR 2024 में आया; Binoculars ICML 2024 में।

यह पोस्ट NLP से बाहर के पाठकों के लिए दोनों तरीकों को समझाती है, लेखकों के बताए आँकड़े सामने रखती है, और फिर उस सवाल को देखती है जो शोधकर्ताओं के लिए सबसे अहम है: ये डिटेक्टर सावधानी से लिखे, औपचारिक इंसानी गद्य के साथ क्या करते हैं।

ये कहाँ से आए: DetectGPT में लागत की समस्या

DetectGPT ने दिखाया कि मशीनी टेक्स्ट आम तौर पर model की probability की स्थानीय चोटी पर होता है। इसे मापने के लिए वह हर अंश को एक अलग model से लगभग सौ बार दोबारा लिखता और हर प्रति का फिर से स्कोर निकालता था। यह काम करता था, लेकिन धीमा था। Fast-DetectGPT के लेखकों ने अपने बेंचमार्क पर A100 GPU पर इसका समय 79,113 सेकंड मापा। उनके अपने तरीके ने 233 सेकंड लिए।

Fast-DetectGPT कैसे काम करता है: conditional probability curvature

मुख्य कदम है शब्द-दर-शब्द काम करना। अंश की हर स्थिति पर, language model के पास पिछले शब्दों के आधार पर अगले संभव शब्दों का एक distribution होता है। Fast-DetectGPT पूछता है: उस स्थिति पर असल में इस्तेमाल हुआ शब्द क्या model के पसंदीदा विकल्पों में से था, उसकी तुलना में जो model वहाँ आम तौर पर चुनता?

1. संदर्भ स्थिर रखेंअसली अंश को अपनी जगह रखें ताकि हर स्थिति के पहले उसके सच्चे शब्द हों।
2. विकल्पों का sample लेंहर स्थिति पर एक sampling model से वैकल्पिक tokens निकालें, बाकी स्थितियों से स्वतंत्र रूप से।
3. दोनों का स्कोर निकालेंएक scoring model असली tokens और sample किए गए tokens की log probability देता है।
4. Normalize करेंSample किए गए औसत स्कोर को घटाएँ और उसके फैलाव से भाग दें। ऊँचा नतीजा बताता है कि टेक्स्ट असामान्य रूप से अक्सर model के पसंदीदा शब्द चुनता है।

लेखक इसे conditional probability curvature कहते हैं। क्योंकि samples असली संदर्भ को स्थिर रखते हुए हर token के लिए निकाले जाते हैं, पूरी गणना को सौ की जगह सिर्फ़ एक-दो forward pass चाहिए। Black-box स्थिति में, जहाँ स्रोत model अज्ञात है, उन्होंने GPT-J को sampling model और GPT-Neo-2.7B को scoring model के रूप में इस्तेमाल किया।

Fast-DetectGPT ने क्या बताया

White-box स्थिति में पाँच स्रोत models के औसत पर Fast-DetectGPT ने 0.9887 का AUROC हासिल किया, जबकि DetectGPT ने 0.9554। Black-box स्थिति में ChatGPT और GPT-4 टेक्स्ट पर यह 0.9338 तक पहुँचा, जबकि DetectGPT 0.7225 पर। AUROC 0.5, यानी सिक्का उछालने, से 1.0, यानी पूर्ण अलगाव, तक जाता है।

• DetectGPT, white-box0.9554
• Fast-DetectGPT, white-box0.9887
• DetectGPT, black-box (ChatGPT, GPT-4)0.7225
• Fast-DetectGPT, black-box (ChatGPT, GPT-4)0.9338

स्रोत: Bao et al., Fast-DetectGPT, ICLR 2024, Table 1

Binoculars कैसे काम करता है: perplexity को cross-perplexity से भाग

Abhimanyu Hans और साथियों का Binoculars एक अलग कमज़ोरी से निपटता है। सादी perplexity, यानी यह माप कि कोई टेक्स्ट model को कितना चौंकाता है, दो चीज़ों को मिला देती है: टेक्स्ट मशीन का लिखा है या नहीं, और विषय असामान्य है या नहीं। लेखक एक यादगार उदाहरण देते हैं जिसे वे capybara समस्या कहते हैं। किसी chatbot से ऐसे capybara के बारे में लिखने को कहें जो astrophysicist है, और नतीजा model को चौंकाएगा, भले ही उसे मशीन ने लिखा हो, क्योंकि विषय ही अजीब है।

Binoculars इसे दो क़रीबी संबंधित models से सुधारता है, एक observer और एक performer (पेपर में Falcon-7B-Instruct और Falcon-7B)। यह दो मात्राएँ निकालता है:

• Log perplexity: असली टेक्स्ट observer model को कितना चौंकाता है।
• Log cross-perplexity: हर स्थिति पर performer model जो भविष्यवाणी करता, वह observer को औसतन कितना चौंकाता है। यह इस बात का baseline है कि इस विषय पर मशीनी टेक्स्ट कितना चौंकाने वाला होगा।

Binoculars स्कोर पहली मात्रा को दूसरी से भाग देकर मिलता है। अजीब prompt दोनों संख्याएँ बढ़ा देता है, इसलिए मशीनी टेक्स्ट के लिए अनुपात कम रहता है। इंसानी लेखन मशीनी baseline से ज़्यादा चौंकाने वाला होता है, इसलिए उसका अनुपात ऊँचा होता है।

• मशीन का लिखा टेक्स्ट
• इंसान का लिखा टेक्स्ट

विचार समझाने वाला उदाहरण, किसी भी पेपर का डेटा नहीं

Binoculars ने क्या बताया

कई तरह के दस्तावेज़ों में Binoculars ने 0.01% false positive rate पर, यानी दस हज़ार में एक इंसानी टेक्स्ट, ChatGPT से बने 90% से ज़्यादा samples पकड़े। विकास के दौरान इसने ChatGPT का डेटा कभी नहीं देखा था। लेखकों ने एक ऑनलाइन निबंध फ़ोरम के गैर-मूल अंग्रेज़ी लेखकों के निबंध भी परखे, मूल और व्याकरण-सुधारे दोनों संस्करणों में, और दोनों पर एक ही सटीकता, 99.67%, बताई। कमर्शियल टूल अलग-अलग चैटबॉट पर इसी तरह काम करते हैं या नहीं, यह अलग सवाल है, जिसे क्या Turnitin ChatGPT, Claude और Gemini पकड़ता है? में कवर किया गया है।

सीमाएँ, और औपचारिक टेक्स्ट पर false positives

दोनों पेपर अपने बेंचमार्क पर मज़बूत आँकड़े बताते हैं। जब ये विचार असली पांडुलिपियों का फ़ैसला करने वाले टूल में पहुँचते हैं, तो कुछ सावधानियाँ मायने रखती हैं।

अनुमान-योग्य इंसानी लेखन अब भी अनुमान-योग्य स्कोर पाता है

दोनों डिटेक्टर चौंकाने को इनाम देते हैं। अकादमिक लेखन अक्सर जानबूझकर इससे बचता है: मानक method विवरण, तय वाक्यांश, सतर्क hedging और विषय की शब्दावली, सब टेक्स्ट को अनुमान-योग्य बनाते हैं। Fast-DetectGPT के लेखक ख़ुद चेताते हैं कि इस तरह के डिटेक्टर गैर-मूल अंग्रेज़ी वक्ताओं के टेक्स्ट पर ज़्यादा false positive rate दिखा सकते हैं। Binoculars ने अपने ESL निबंध परीक्षण में अच्छा किया, जो उत्साहजनक है, लेकिन छात्र निबंधों का एक dataset clinical रिसर्च के methods सेक्शन जैसा नहीं है। गैर-मूल लेखकों के प्रति डिटेक्टर पूर्वाग्रह पर हमारी पोस्ट उस अध्ययन को समझाती है जिसने यह चिंता उठाई।

याद किया गया टेक्स्ट मशीनी टेक्स्ट जैसा दिखता है

Binoculars टीम ने 11 प्रसिद्ध टेक्स्ट परखे। उनमें से तीन threshold के मशीनी पक्ष में गिरे, क्योंकि जो अंश model ने याद कर रखे हैं वे उसके लिए बेहद अनुमान-योग्य होते हैं। लेखक बताते हैं कि यह डिटेक्टर के काम करने के तरीके से मेल खाता है, और कुछ उपयोगों के लिए स्वीकार्य हो सकता है पर दूसरों के लिए समस्या। अकादमिक लेखन में उद्धृत परिभाषाएँ और मानक अंश ऐसी ही चिंता पैदा करते हैं।

Paraphrasing और model का बेमेल

कोई भी पेपर जानबूझकर की गई rewriting के प्रति प्रतिरोध का दावा नहीं करता, और Binoculars के लेखक बताते हैं कि उन्होंने adversarial attacks का अध्ययन नहीं किया। Fast-DetectGPT भी तब कमज़ोर होता है जब scoring model स्रोत model से अलग हो और जब अंश छोटे हों। क्योंकि इस तरह का हर zero-shot तरीका token probabilities पढ़ता है, इसलिए काफ़ी हद तक दोबारा लिखा गया अंश स्कोर करने के लिए एक अलग चीज़ है। Paraphrasing हमलों पर रिसर्च, जो क्या AI से लिखा टेक्स्ट भरोसेमंद ढंग से पहचाना जा सकता है? में समझाई गई है, दिखाती है कि स्कोर कितना खिसक सकते हैं।

Academic Humanizer के साथ इसका क्या मतलब है

क्योंकि ऐसे डिटेक्टर इस पर प्रतिक्रिया देते हैं कि टेक्स्ट का हर हिस्सा कितना अनुमान-योग्य है, इसलिए ज़्यादातर इंसानी ड्राफ़्ट में भी कुछ वाक्य मशीन जैसे लग सकते हैं। Academic Humanizer ठीक उन्हीं को निशाना बनाता है: वह उन वाक्यों को खोजता है जिन्हें डिटेक्टर फ़्लैग करते हैं, आपके तर्क, डेटा, citations और शब्द बनाए रखते हुए सिर्फ़ उन्हें दोबारा लिखता है, और बाकी हर वाक्य को अछूता छोड़ता है। फिर AI Detection Report मूल और संशोधित संस्करणों की तुलना एक ही पैमाने पर करती है, ताकि आप हर बदलाव की समीक्षा कर सकें, और जमा करने से पहले आपको अपने संस्थान या जर्नल की AI नीति फिर भी देखनी चाहिए।