DetectGPT Explained: Probability Curvature से AI टेक्स्ट की पहचान

DetectGPT, AI से बने टेक्स्ट को पहचानने का एक zero-shot तरीका है जो एक सीधा सवाल पूछता है: अगर किसी अंश को छोटे बदलावों से हल्का-सा धक्का दें, तो क्या language model उसे कम पसंद करता है? मशीन का लिखा टेक्स्ट आम तौर पर model की probability की स्थानीय चोटी पर होता है, इसलिए लगभग कोई भी बदलाव उसका स्कोर घटा देता है। इंसानी टेक्स्ट में आम तौर पर ऐसी तीखी चोटी नहीं दिखती।

यह विचार Eric Mitchell और साथियों के 2023 के पेपर से आया, जो ICML 2023 में प्रस्तुत हुआ। इसने बाद की डिटेक्शन रिसर्च के बड़े हिस्से को आकार दिया, जिसमें वे तेज़ तरीके भी शामिल हैं जिन पर आज कई टूल निर्भर हैं। यह लेख तरीके को सरल भाषा में, लेखकों के बताए नतीजों को, और इसका मतलब समझाता है अगर आपके लेखन की जाँच कोई डिटेक्टर करता है।

DetectGPT किस समस्या को हल करने निकला था

DetectGPT से पहले डिटेक्टर दो बड़े परिवारों में आते थे। प्रशिक्षित classifiers इंसानी और मशीनी टेक्स्ट के लेबल किए उदाहरणों से सीखते हैं, जो प्रशिक्षण सेट जैसे डेटा पर अच्छा काम करते हैं और नई चीज़ों पर कम। Zero-shot सांख्यिकी, जैसे औसत log probability या token rank, को प्रशिक्षण की ज़रूरत नहीं होती, लेकिन ये मोटे पैमाने हैं: कोई अंश सिर्फ़ इसलिए बहुत संभावित हो सकता है कि उसका विषय आम है या शैली औपचारिक है।

Mitchell और साथी इनके बीच का कुछ चाहते थे। उनका डिटेक्टर सिर्फ़ उस model की log probabilities इस्तेमाल करता जिस पर टेक्स्ट लिखने का शक है, और छोटे बदलाव करने के लिए एक सामान्य टूल। कोई लेबल वाला dataset नहीं, classifier का प्रशिक्षण नहीं, और generation के समय डाला गया कोई watermark नहीं। अगर पहले व्यापक संदर्भ चाहिए, तो AI डिटेक्टर कैसे काम करते हैं पर हमारा परिचय मुख्य डिटेक्टर परिवारों को समझाता है।

DetectGPT कैसे काम करता है: सरल भाषा में probability curvature

Language model हर अंश को एक probability देता है। सभी संभव अंशों को पहाड़ियों और घाटियों वाले भू-भाग की तरह सोचें, जहाँ ऊँचाई यह है कि model किसी अंश को कितना संभावित मानता है। जब model टेक्स्ट बनाता है, तो वह हर कदम पर ऊँची probability वाले शब्द चुनता है, इसलिए उसके आउटपुट पहाड़ियों की चोटी के पास पहुँचते हैं।

अब किसी अंश में कुछ छोटे, अर्थ बचाने वाले बदलाव करें। अगर अंश चोटी पर था, तो हर कदम ढलान पर नीचे जाता है, और बदले हुए संस्करणों का स्कोर कम होता है। अगर अंश हल्की ढलान या समतल ज़मीन पर था, जैसा इंसानी लेखन अक्सर होता है, तो कुछ बदलाव ऊपर जाते हैं, कुछ नीचे, और औसत बदलाव शून्य के क़रीब रहता है। पेपर इस आकार को negative curvature कहता है: पहाड़ी की चोटी हर तरफ़ नीचे की ओर मुड़ती है।

• Model का बनाया अंश
• इंसान का लिखा अंश

विचार समझाने वाला उदाहरण, पेपर का डेटा नहीं

व्यवहार में यह तरीका चार चरणों में चलता है।

1. मूल का स्कोर निकालेंजिस model पर लिखने का शक है, उसके तहत अंश की log probability निकालें।
2. उसमें बदलाव करेंशब्दों के छोटे हिस्सों को mask करें और एक अलग model, T5, को उन्हें संभावित विकल्पों से भरने दें।
3. प्रतियों का स्कोर निकालेंउसी संदिग्ध model के तहत हर बदली हुई प्रति की log probability निकालें।
4. तुलना करेंअगर मूल का स्कोर औसत प्रति से साफ़ तौर पर ज़्यादा है, तो अंश को संभवतः मशीन का बना मानकर फ़्लैग करें।

Perturbation model मायने रखता है। लेखकों ने T5, एक mask-filling model, से छोटे हिस्से बदले ताकि प्रतियाँ धाराप्रवाह और अर्थ में क़रीब रहें। अपने मुख्य सेटअप में उन्होंने दो-दो शब्दों के हिस्सों में लगभग 15% शब्द mask किए और हर अंश के लिए 100 बदले हुए samples बनाए। अंतिम स्कोर मूल और बदली प्रतियों के औसत के बीच का अंतर है, जिसे बदले हुए स्कोरों के उतार-चढ़ाव से normalize किया जाता है।

DetectGPT पेपर ने क्या बताया

मुख्य नतीजा फ़र्ज़ी ख़बरों की पहचान से आया। 20 अरब parameter वाले GPT-NeoX model से बने समाचार लेखों पर DetectGPT ने 0.95 का AUROC हासिल किया, जबकि सबसे मज़बूत zero-shot baseline का 0.81 था। AUROC मापता है कि कोई स्कोर सभी संभव thresholds पर दो समूहों को कितनी अच्छी तरह अलग करता है: 0.5 सिक्का उछालने जैसा है और 1.0 पूर्ण अलगाव।

लेखकों ने 1.5 अरब parameter (GPT-2) से लेकर GPT-3 जैसे 175 अरब parameter वाले models तक को परखा, समाचार (XSum), Wikipedia पैराग्राफ़ (SQuAD contexts) और Reddit के रचनात्मक लेखन prompts पर। उन्होंने इंसानी ढंग के संशोधन का एक सरल परीक्षण भी किया: मशीनी टेक्स्ट के बढ़ते हिस्सों को T5 rewrites से बदलना। लगभग एक-चौथाई टेक्स्ट बदल दिए जाने पर भी डिटेक्शन 0.8 AUROC से ऊपर रहा।

जिनके लेखन की जाँच होती है, उनके लिए DetectGPT क्यों मायने रखता है

ज़्यादातर व्यावसायिक डिटेक्टर अपनी अंदरूनी बनावट प्रकाशित नहीं करते, और कई DetectGPT जैसे परीक्षण के बजाय प्रशिक्षित classifiers हैं। फिर भी यह पेपर उस संकेत का नाम देता है जिस पर बहुत-सा डिटेक्शन टिका है: ऐसा टेक्स्ट जो किसी model के लिए बहुत ज़्यादा अनुमान-योग्य है। शोधकर्ताओं के लिए इसके कुछ व्यावहारिक नतीजे हैं।

• औपचारिक गद्य स्वभाव से अनुमान-योग्य होता है। Methods सेक्शन, मानक hedges और विषय के वाक्यांश हज़ारों पेपरों में दोहराए जाते हैं। Model उन्हें संभावित पाता है, जो सावधानी से लिखे इंसानी लेखन को मशीनी पक्ष के क़रीब धकेल देता है। इस पर हम औपचारिक गद्य AI का लिखा क्यों लग सकता है में बात करते हैं।
• स्कोर अंश के बारे में है, लेखक के बारे में नहीं। DetectGPT एक model के तहत टेक्स्ट की एक विशेषता मापता है। वह आपके ड्राफ़्ट, नोट्स या इरादे नहीं देख सकता।
• छोटा टेक्स्ट ज़्यादा कठिन है। कम tokens का मतलब है curvature का ज़्यादा शोर भरा अनुमान। एक अकेला abstract परीक्षण को पूरे चैप्टर से कम सामग्री देता है।

डिटेक्टर उस ख़ास model पर भी निर्भर करता है जिससे टेक्स्ट का स्कोर निकाला जाता है। जो टेक्स्ट एक model के लिए चोटी पर हो, ज़रूरी नहीं कि दूसरे के लिए भी हो, और यही एक कारण है कि अलग-अलग टूल एक ही पैराग्राफ़ पर असहमत होते हैं।

DetectGPT की सीमाएँ

पेपर अपनी बाधाओं के बारे में साफ़ है, और बाद के काम ने और भी उजागर कीं।

इसे सही model और बहुत compute चाहिए

DetectGPT सबसे अच्छा तब काम करता है जब वह उस model की log probabilities पूछ सके जिसने टेक्स्ट लिखा। बंद व्यावसायिक models में यह पहुँच सीमित है, और दूसरा scoring model इस्तेमाल करने से संकेत कमज़ोर होता है। दूसरी समस्या लागत है: हर अंश को सौ अतिरिक्त forward passes चाहिए। अगले Fast-DetectGPT पेपर ने अपने बेंचमार्क पर उसी A100 GPU पर DetectGPT का समय 79,113 सेकंड मापा, जबकि अपने तरीके का 233 सेकंड, यानी लगभग 340 गुना का अंतर।

Paraphrasing curvature संकेत को तोड़ देता है

यह तरीका मानता है कि अंश अब भी वहीं है जहाँ model ने उसे छोड़ा था। Paraphrase उसे खिसका देता है। Krishna और साथियों ने DIPPER paraphraser पर अपने NeurIPS 2023 पेपर में इसे सीधे परखा: मशीनी टेक्स्ट को दोबारा लिखने से 1% की तय false positive rate पर DetectGPT की detection rate 70.3% से घटकर 4.6% रह गई। Sadasivan और साथियों ने बाद में बताया कि paraphrasing ने इस तरह के zero-shot डिटेक्टर का AUROC 96.5% से गिराकर 25.2% कर दिया। यही कमज़ोरी वजह है कि प्रॉम्प्ट की तरकीबें बार-बार सामने आती हैं; देखें सीधे प्रॉम्प्ट ChatGPT टेक्स्ट को शायद ही undetectable क्यों बनाते हैं।

• मूल मशीनी टेक्स्ट70.3%
• DIPPER paraphrase के बाद4.6%

स्रोत: Krishna et al., "Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense", NeurIPS 2023

Perturbation model नतीजे को आकार देता है

लेखक बताते हैं कि उनके तरीके को एक उचित perturbation function चाहिए। T5 अंग्रेज़ी के लिए काम करता है, लेकिन जिन क्षेत्रों में तैयार mask filler यथार्थवादी rewrites नहीं बनाता, वहाँ प्रदर्शन गिर सकता है। विशेषीकृत वैज्ञानिक भाषा इसका एक संभावित उदाहरण है।

DetectGPT के बाद क्या आया

DetectGPT ने zero-shot डिटेक्टरों की एक धारा शुरू की जो मूल अंतर्ज्ञान रखती है और लागत घटाती है। Fast-DetectGPT पूरे अंश के rewrites की जगह token-स्तर की sampling करता है, और Binoculars दो संबंधित models की तुलना करके उन विषयों के लिए सुधार करता है जो अपने आप में चौंकाने वाले हैं। दोनों पर हमारा लेख है Fast-DetectGPT और Binoculars समझें। दूसरी तरफ़, paraphrasing हमलों पर रिसर्च, जिसका सार क्या AI से लिखा टेक्स्ट भरोसेमंद ढंग से पहचाना जा सकता है? में है, दिखाती है कि ये संकेत कितना इस पर निर्भर हैं कि टेक्स्ट उसके क़रीब रहे जो model बनाता।

Academic Humanizer कहाँ फ़िट होता है

अनुमान-योग्यता के विचारों पर बने डिटेक्टर उन अलग-अलग वाक्यों पर प्रतिक्रिया देते हैं जो बहुत ज़्यादा चिकने या सामान्य लगते हैं, उन ड्राफ़्ट में भी जिनके विचार और डेटा पूरी तरह लेखक के हैं। Academic Humanizer इसी स्तर पर काम करता है: वह ड्राफ़्ट में उन वाक्यों को खोजता है जिन्हें डिटेक्टर फ़्लैग करते हैं, दावे, संख्याएँ, citations और शब्दावली बनाए रखते हुए सिर्फ़ उन्हें दोबारा लिखता है, और बाकी को बिल्कुल वैसा ही छोड़ता है। बिल्ट-इन AI Detection Report हर फ़्लैग हुए वाक्य को उसके rewrite के बगल में दिखाती है ताकि इस्तेमाल से पहले आप हर बदलाव जाँच सकें, और उसी समीक्षा में अपने संस्थान या जर्नल की AI नीति की पुष्टि करना भी अच्छा है।