Does Paraphrasing Bypass AI Detection? DIPPER पेपर समझें

क्या पैराफ़्रेज़िंग AI डिटेक्शन से बचा लेती है? 2023 के एक टेस्ट में ज़्यादातर हाँ: 2023 में UMass Amherst और Google के शोधकर्ताओं ने दिखाया कि एक अच्छे paraphrasing model का एक ही दौर AI से बने टेक्स्ट को ज़्यादातर डिटेक्टरों से निकाल सकता है, और उसका अर्थ लगभग अछूता रहता है। NeurIPS 2023 में प्रस्तुत उनके पेपर ने 1% की तय false positive rate पर DetectGPT की detection rate 70.3% से घटाकर 4.6% कर दी। इसने एक ऐसा बचाव भी सुझाया जो टेक्स्ट की शैली पढ़ने पर बिल्कुल निर्भर नहीं है।

AI humanizers और डिटेक्टरों की मज़बूती पर बाद का ज़्यादातर काम इसी पेपर से शुरू होता है। यहाँ बताया गया है कि इसने क्या किया, क्या पाया, और AI की मदद से लिखने वालों के लिए इसका क्या मतलब है।

DIPPER क्या है

DIPPER (Discourse Paraphraser का संक्षिप्त रूप) T5-XXL से fine-tune किया गया 11 अरब parameter वाला model है। उस समय ज़्यादातर paraphrasers एक बार में एक वाक्य पर काम करते थे। DIPPER को पूरे पैराग्राफ़ दोबारा लिखने, मूल prompt जैसे आसपास के संदर्भ का इस्तेमाल करने, और वाक्यों के बीच सामग्री का क्रम बदलने के लिए प्रशिक्षित किया गया।

इसका प्रशिक्षण डेटा PAR3 से आया, जो एक ही गैर-अंग्रेज़ी उपन्यास के कई अंग्रेज़ी अनुवादों का dataset है। एक ही पैराग्राफ़ का अनुवाद करने वाले दो अनुवादक एक-दूसरे के स्वाभाविक paraphrase बनाते हैं, अलग शब्दों और वाक्य-क्रम के साथ लेकिन एक ही सामग्री के साथ। इससे model को असली उदाहरण मिले कि लोग एक ही विचार को अलग-अलग तरह से कैसे कहते हैं।

DIPPER में दो नियंत्रण सेटिंग हैं, दोनों inference के समय तय होती हैं:

• Lexical diversity (L): शब्दों में कितना बदलाव हो। लेखक बताते हैं कि L = 20 मोटे तौर पर 20% शाब्दिक बदलाव के बराबर है।
• Order diversity (O): पैराग्राफ़ के भीतर सामग्री का क्रम कितना बदले।

मुख्य प्रयोगों में L को 20, 40 या 60 और O को 0 या 60 पर रखा गया, और हर टेक्स्ट को सिर्फ़ एक बार paraphrase किया गया, पास होने तक दोबारा कोशिश नहीं की गई।

परीक्षण कैसे तैयार किया गया

लेखकों ने बहुत अलग आकार के तीन models से 300 tokens के टेक्स्ट बनाए: GPT-2 XL (1.5B parameters), OPT-13B, और GPT-3.5 (text-davinci-003)। काम थे Wikipedia अंशों को खुले ढंग से आगे बढ़ाना और long-form question answering।

फिर उन्होंने पाँच डिटेक्टर परखे: Kirchenbauer et al. का watermark, DetectGPT, GPTZero, OpenAI का AI text classifier और RankGen। हर डिटेक्टर को 1% false positive rate पर tune किया गया, यानी 100 में से सिर्फ़ 1 इंसानी टेक्स्ट गलती से फ़्लैग होगा। लेखकों का तर्क है कि डिटेक्टरों को परखने का यही सही तरीका है, और वे जोड़ते हैं कि व्यवहार में 1% भी शायद बहुत ज़्यादा है।

यह जाँचने के लिए कि paraphrases ने अर्थ बनाए रखा, उन्होंने P-SP, एक semantic similarity model, और मानव मूल्यांकन का इस्तेमाल किया।

Detection rates का क्या हुआ

• DetectGPT, GPT-2 XL टेक्स्ट70.3%
• DetectGPT, paraphrase के बाद4.6%
• Watermark, GPT-2 XL टेक्स्ट100%
• Watermark, paraphrase के बाद57.2%
• OpenAI classifier, GPT-3.5 टेक्स्ट30.0%
• OpenAI classifier, paraphrase के बाद15.6%

स्रोत: Krishna et al. 2023, सेक्शन 4.3 (खुले ढंग का Wikipedia generation)।

सभी models, डिटेक्टरों और कामों में, हर diversity सेटिंग पर paraphrasing ने डिटेक्शन घटाया। साथ ही 88% से 99% paraphrases का स्कोर इंसानों के लिखे paraphrase जोड़ों की median similarity से ऊपर रहा, यानी अर्थ काफ़ी हद तक बचा रहा।

दो और निष्कर्ष उभरकर आते हैं:

• Watermarking सबसे ज़्यादा टिकाऊ रहा। इसने paraphrase किए गए GPT-2 XL टेक्स्ट का बहुमत फिर भी पकड़ लिया, क्योंकि watermark वाले कुछ tokens rewording के बाद भी बचे रहते हैं। इसकी ताक़त generation के समय डाले गए संकेत से आती है, जो शैली से अलग तरह का सबूत है। वह संकेत कैसे काम करता है, यह हमारे watermarking लेख में देखें।
• Watermark के बिना वाले डिटेक्टर बड़े models पर paraphrasing से पहले भी कमज़ोर थे। इन स्थितियों में GPTZero और RankGen ने बिना paraphrase वाले AI टेक्स्ट का 15% से भी कम पकड़ा, और long-form QA में DetectGPT GPT-2 XL पर 74.9% से गिरकर OPT-13B पर 29.8% रह गया। OpenAI ने कम सटीकता का हवाला देकर जुलाई 2023 में अपना classifier वापस ले लिया।

अर्थ बचाने वाली rewriting फ़ैसले को क्यों बदल देती है

यह नतीजा तब तक चौंकाता है जब तक आप याद न करें कि ये डिटेक्टर क्या मापते हैं। जैसा हमने AI डिटेक्टर कैसे काम करते हैं में समझाया है, DetectGPT जैसे सांख्यिकीय डिटेक्टर यह स्कोर करते हैं कि language model के तहत हर token कितना संभावित है। Watermark डिटेक्टर एक गुप्त "green list" के tokens गिनता है। दोनों में से कोई भी तर्क नहीं पढ़ता।

Paraphrase तर्क बनाए रखता है लेकिन अलग-अलग शब्दों के चुनाव दूसरे model के distribution से नए सिरे से करता है। जिन tokens की वजह से मूल टेक्स्ट मशीनी या watermark वाला लगता था, उनकी जगह उसी अर्थ वाले दूसरे tokens आ जाते हैं। डिटेक्टर को एक नया सांख्यिकीय fingerprint दिखता है; पाठक को वही पैराग्राफ़।

यही मूल अंतर्दृष्टि है जो यह पेपर बाद में आने वाले सभी को सौंपता है: शैली-आधारित डिटेक्शन सतही रूप को मापता है, और सतही रूप बदल सकता है जबकि अर्थ स्थिर रहे। यही विचार समझाता है कि कक्षा के परीक्षणों में हल्का इंसानी संपादन डिटेक्टरों को क्यों उलझा देता है, और लगभग उसी समय जारी Sadasivan et al. पेपर ने क्यों तर्क दिया कि डिटेक्शन बुनियादी रूप से सीमित हो सकता है।

Retrieval बचाव

पेपर का दूसरा हिस्सा एक ऐसा बचाव देता है जो शैली पर निर्भर नहीं है। "क्या यह मशीन का लिखा लगता है?" पूछने के बजाय यह पूछता है "क्या हमारे model ने इस अर्थ वाला कुछ लिखा था?"

1. सेव करेंLanguage model प्रदाता अपने API से बना हर आउटपुट एक डेटाबेस में रखता है।
2. Encode करेंजाँचे जाने वाले टेक्स्ट को उसकी सामग्री के एक प्रतिरूप में बदला जाता है।
3. खोजेंसिस्टम BM25 या P-SP semantic model से मिलती-जुलती सामग्री वाली सेव की गई generations खोजता है।
4. फ़ैसला करेंअगर पर्याप्त क़रीबी मेल मिलता है, तो टेक्स्ट को उस प्रदाता के model से आया मानकर फ़्लैग किया जाता है।

क्योंकि paraphrase सामग्री बनाए रखता है, वह सेव किए गए मूल से अब भी मेल खाता है। 1.5 करोड़ generations के डेटाबेस के साथ retrieval ने अलग-अलग स्थितियों में paraphrase किए गए 80% से 97% टेक्स्ट पकड़े, जबकि सिर्फ़ 1% इंसानी टेक्स्ट को फ़्लैग किया। Long-form QA में BM25 retrieval ने तीनों models के सबसे भारी paraphrase किए गए टेक्स्ट का 97.8%, 97.3% और 96.2% पकड़ा, जबकि सबसे अच्छे प्रतिस्पर्धी डिटेक्टर ने 55.8%, 51.4% और 38.1%।

लेखक इसकी सीमाओं पर खुलकर बात करते हैं। Retrieval तभी काम करता है जब प्रदाता इसे चलाए, यह सिर्फ़ उसी प्रदाता के अपने आउटपुट पहचान सकता है, और डेटाबेस बढ़ने के साथ storage, गोपनीयता और गलत मेल को लेकर असली सवाल उठाता है। लोकल चलने वाले open-weight models इसके दायरे से पूरी तरह बाहर हैं।

Humanizer रिसर्च की वंश-परंपरा

DIPPER ने वह ढाँचा तय किया जिस पर बाद का काम खड़ा हुआ: AI टेक्स्ट को एक अलग model से बदलें, तय कम false positive rate पर डिटेक्शन मापें, और पुष्टि करें कि अर्थ बचा रहा। SICO ने सिर्फ़ prompting से यही असर दिखाया। RAID बेंचमार्क ने paraphrase को ग्यारह मानक हमलों में से एक बनाया। हाल का काम डिटेक्टर के अपने feedback से paraphrasing को दिशा देता है।

अकादमिक लेखकों के लिए सबक कोई नुस्ख़ा नहीं है। यह इस बारे में एक चेतावनी है कि डिटेक्टर के फ़ैसले का क्या मतलब हो सकता है। फ़्लैग होना, या न होना, यह दर्शाता है कि टेक्स्ट की सतही सांख्यिकी किसी एक model की अपेक्षाओं से कैसे मेल खाती है। यह भरोसेमंद ढंग से कुछ नहीं बताता कि विचार किसके थे। इसीलिए आपके ड्राफ़्ट और नोट्स किसी भी स्कोर से ज़्यादा मायने रखते हैं, और इसीलिए आपको AI सहायता पर अपने संस्थान या जर्नल के नियम देखने चाहिए और जहाँ ज़रूरी हो घोषणा करनी चाहिए। कमर्शियल डिटेक्टर भी तब से बदल चुके हैं; देखें क्या Turnitin humanized टेक्स्ट पकड़ सकता है?

Academic Humanizer कहाँ फ़िट होता है

Academic Humanizer इस रिसर्च का सबक उल्टी दिशा में लागू करता है: क्योंकि डिटेक्टर सतही पैटर्न पर प्रतिक्रिया देते हैं, लक्ष्य है जो मायने रखता है उसे बचाते हुए जितना हो सके उतना कम बदलना। Humanizer सिर्फ़ उन वाक्यों को दोबारा लिखता है जिन्हें डिटेक्टर फ़्लैग करते हैं, बाकी को बिल्कुल वैसा ही छोड़ता है, और दावे, संख्याएँ, hedging और citations अपनी जगह रखता है। इसकी AI Detection Report हर फ़्लैग हुए वाक्य को उसके rewrite के साथ जोड़कर दिखाती है ताकि नतीजे का इस्तेमाल करने से पहले आप लाइन-दर-लाइन अर्थ जाँच सकें।