Can AI Detectors Be Fooled? SICO और प्रॉम्प्ट से बचाव समझें

क्या AI डिटेक्टरों को सिर्फ़ एक प्रॉम्प्ट से, बिना किसी अतिरिक्त पैराफ़्रेज़िंग मॉडल के, धोखा दिया जा सकता है? Transactions on Machine Learning Research में 2024 का एक पेपर कहता है, हाँ। इसकी विधि SICO कुछ दर्जन इंसानी उदाहरणों से एक प्रॉम्प्ट बनाती है, और लेखकों के टेस्ट में इसने छह डिटेक्टरों को लगभग सिक्का उछालने जितने प्रदर्शन तक धकेल दिया।

2025 के एक NeurIPS पेपर ने इससे आगे जाकर डिटेक्टर के अपने स्कोरों से एक पैराफ़्रेज़र को टोकन-दर-टोकन दिशा दी। दोनों पेपर साथ पढ़ें तो वे चतुर तरकीबों से ज़्यादा इस बारे में बताते हैं कि डिटेक्टर जिस ढंग से बनते हैं, उसमें एक ढाँचागत कमज़ोरी है। यह पोस्ट दोनों को और उनके निहितार्थों को समझाती है।

SICO सरल शब्दों में क्या करता है

SICO का पूरा नाम Substitution-based In-Context example Optimization है। बचाव पर पहले के काम, जैसे DIPPER पैराफ़्रेज़र, ने AI टेक्स्ट को दोबारा लिखने के लिए एक अलग मॉडल प्रशिक्षित किया था। SICO एक अलग सवाल पूछता है: अगर बड़े मॉडल उदाहरणों का पालन करने में अच्छे हैं, तो क्या प्रॉम्प्ट के भीतर सही उदाहरण वही काम कर सकते हैं?

ऊपरी स्तर पर इस विधि के तीन हिस्से हैं:

• अंतर का वर्णन। मॉडल को एक ही कार्यों के AI-लिखित और इंसानी जवाबों के जोड़े दिखाए जाते हैं और उससे पूछा जाता है कि इंसानी लेखन को क्या अलग बनाता है।
• उदाहरणों को निखारना। प्रॉम्प्ट के उदाहरणों को कई दौर में शब्द-स्तर की पर्यायवाची अदला-बदली और वाक्य-स्तर पर दोबारा कहने से सुधारा जाता है। एक प्रॉक्सी डिटेक्टर हर विकल्प को स्कोर करता है, और जो बदलाव उदाहरणों को कम मशीनी दिखाते हैं उन्हें रखा जाता है, इस शर्त के साथ कि अर्थ मिलता-जुलता रहे।
• प्रॉम्प्ट का दोबारा इस्तेमाल। अंतिम प्रॉम्प्ट (विशेषताओं का वर्णन, कार्य का निर्देश और निखारे गए उदाहरण) फिर उसी कार्य के नए इनपुट के लिए इस्तेमाल किया जा सकता है।

यह व्यवस्था सस्ती है। लेखक बताते हैं कि उन्हें सिर्फ़ 40 इंसानी उदाहरण और सीमित संख्या में मॉडल कॉल चाहिए थे, उनके अनुमान में लगभग 1 USD का GPT-3.5 API इस्तेमाल। SICO दो रूपों में आता है: SICO-Gen कार्य का आउटपुट सीधे लिखता है, और SICO-Para मौजूदा AI आउटपुट को दोबारा लिखता है। "write like a human" जैसे सीधे निर्देश अलग मामला हैं; देखें सीधे प्रॉम्प्ट आम तौर पर क्यों फ़ेल होते हैं।

इसे कैसे परखा गया

प्रयोगों में तीन कार्यों पर GPT-3.5 इस्तेमाल हुआ: अकादमिक निबंध लेखन (SQuAD डेटासेट से Wikipedia पैराग्राफ़ पूरे करना), खुले सवालों के जवाब (ELI5 सवाल) और नक़ली Yelp समीक्षाएँ। हर कार्य में 200 AI-जनित और 200 इंसानी टेक्स्ट थे।

छह डिटेक्टर परखे गए: GPT-3.5 टेक्स्ट पर फ़ाइन-ट्यून किया गया एक RoBERTa मॉडल (जो ऑप्टिमाइज़ेशन के दौरान प्रॉक्सी भी था), OpenAI का GPT-2 output detector, GPTZero, OpenAI AI text classifier, DetectGPT और एक log-rank विधि। SICO की तुलना चार पैराफ़्रेज़िंग बेसलाइन से की गई, जिनमें DIPPER और हाथ से लिखा "make it sound human" प्रॉम्प्ट शामिल थे।

डिटेक्टर की गुणवत्ता AUC से मापी गई, जहाँ 1.0 का मतलब AI और इंसानी टेक्स्ट का पूर्ण अलगाव है और 0.5 संयोग से बेहतर नहीं।

नतीजे क्या दिखाते हैं

SICO ने हर सेटिंग में हर बेसलाइन को पीछे छोड़ा, और ज़्यादातर मामलों में डिटेक्टर AUC को 0.5 से नीचे ले आया। अकादमिक लेखन कार्य पर गिरावट बड़ी थी:

• DetectGPT, मूल0.834
• DetectGPT, SICO-Para0.149
• GPTZero, मूल0.779
• GPTZero, SICO-Para0.290
• GPT-3.5 डिटेक्टर, मूल0.908
• GPT-3.5 डिटेक्टर, SICO-Para0.239

स्रोत: Lu et al. 2024, Table 1 (Writing task)। 0.5 का AUC अंदाज़े से लगाए तीर के बराबर है।

0.5 से काफ़ी नीचे AUC का मतलब है कि डिटेक्टर ने SICO टेक्स्ट को असली इंसानी टेक्स्ट से ज़्यादा इंसानी आँका। तुलना के लिए, उसी कार्य पर DIPPER GPTZero को सिर्फ़ 0.689 तक ला पाया।

गुणवत्ता भी बनी रही। लेखन कार्य पर मानवीय मूल्यांकन में SICO-Gen टेक्स्ट को पठनीयता के लिए 3.84 अंक मिले, जबकि इंसानी टेक्स्ट को 3.92, और इसने 93.6% बार कार्य पूरा किया, जबकि इंसानी लेखकों ने 98.2% बार। DIPPER ने 70.6% कार्य पूरा किया।

लेखकों ने एक बचाव भी परखा। मूल डिटेक्टर को SICO टेक्स्ट पर प्रशिक्षित दूसरे डिटेक्टर के साथ जोड़कर ऊँचा स्कोर लेने से GPT-2 डिटेक्टर का SICO-Para लेखन पर AUC 0.332 से 0.762 हो गया, और सामान्य AI टेक्स्ट पर लगभग कोई नुक़सान नहीं हुआ।

Adversarial Paraphrasing: डिटेक्टर से ही दिशा लेना

इस पेपर के पीछे University of Maryland की टीम ने एक उचित अवलोकन से शुरुआत की: नए डिटेक्टर, ख़ासकर पैराफ़्रेज़ किए टेक्स्ट पर प्रशिक्षित, साधारण पैराफ़्रेज़िंग से धोखा खाने में कठिन हो गए थे। उनके टेस्ट में साधारण पैराफ़्रेज़िंग ने 1% फ़ॉल्स पॉज़िटिव पर ट्रू पॉज़िटिव दर उल्टा RADAR पर 8.57% और Fast-DetectGPT पर 15.03% बढ़ा दी।

उनकी विधि को किसी प्रशिक्षण की ज़रूरत नहीं। एक तैयार instruction मॉडल (उनकी व्यवस्था में LLaMA-3-8B) टेक्स्ट को पैराफ़्रेज़ करता है, और हर चरण पर एक डिटेक्टर अगले टोकन के विकल्पों को स्कोर करता है; जो विकल्प सबसे कम AI जैसा दिखता है, वही चुना जाता है। लेखक इसे एक टोकन गहरी, डिटेक्टर-निर्देशित खोज बताते हैं।

OpenAI RoBERTa-Large डिटेक्टर से निर्देशित इस हमले ने 1% फ़ॉल्स पॉज़िटिव पर ट्रू पॉज़िटिव दर RADAR पर 64.49% और Fast-DetectGPT पर 98.96% घटाई, और न्यूरल क्लासिफ़ायर, वॉटरमार्क और ज़ीरो-शॉट विधियों वाले आठ डिटेक्टरों में औसत कमी 87.88% रही। मुख्य शब्द है ट्रांसफ़र: एक डिटेक्टर के ख़िलाफ़ ऑप्टिमाइज़ करने से बिल्कुल अलग प्रकार के डिटेक्टर भी कमज़ोर हुए। लेखक टेक्स्ट की गुणवत्ता में ज़्यादातर मामूली गिरावट बताते हैं, और उस समझौते का स्पष्ट विश्लेषण करते हैं।

यह शोध डिटेक्टर की मज़बूती के बारे में क्या कहता है

विधियों के नाम हटा दें, तो दोनों पेपर एक ही बात कहते हैं। डिटेक्टर एक क्लासिफ़ायर है जिसने टेक्स्ट के दो वितरणों के बीच एक सीमा सीखी है। जो कुछ भी किसी डिटेक्टर से, या उसके किसी उचित विकल्प से, सवाल पूछ सकता है, वह सीख सकता है कि वह सीमा कहाँ है। SICO ने यह मुट्ठी भर प्रॉम्प्ट उदाहरणों से किया, Adversarial Paraphrasing ने हर टोकन के चुनाव से। किसी को डिटेक्टर के अंदरूनी हिस्सों की ज़रूरत नहीं पड़ी।

इससे तीन व्यावहारिक नतीजे निकलते हैं:

• डिटेक्शन हथियारों की होड़ बन जाता है। SICO के एन्सेम्बल या एडवर्सेरियल प्रशिक्षण जैसे बचाव ज्ञात हमलों के ख़िलाफ़ मदद करते हैं, और हर नया हमला सीमा को फिर खिसका देता है।
• ट्रांसफ़र का मतलब है कि अलग होने भर से कोई डिटेक्टर सुरक्षित नहीं। एक मॉडल के ख़िलाफ़ ऑप्टिमाइज़ करने से दूसरे कमज़ोर हुए, जो RAID बेंचमार्क की व्यापक तस्वीर से मेल खाता है।
• सतही रूप लेखकत्व नहीं है। अगर अर्थ बचाने वाले छोटे बदलाव निष्कर्ष पलट देते हैं, तो निष्कर्ष शैली के आँकड़ों को ट्रैक कर रहा था, यह नहीं कि सोचा किसने। यही कारण है कि सावधान इंसानी लेखक, ख़ासकर गैर-मूल अंग्रेज़ी लेखक, फ़्लैग हो जाते हैं।

इनमें से कुछ भी कोर्सवर्क के नियमों से बचने को स्वीकार्य नहीं बनाता। दोनों पेपर अपने काम को स्ट्रेस टेस्ट के रूप में रखते हैं जो कमज़ोरियाँ उजागर करते हैं ताकि डिटेक्शन बेहतर हो सके। अगर आप अकादमिक काम में AI टूल इस्तेमाल करते हैं, तो ईमानदार रास्ता है अपने संस्थान या जर्नल की नीति का पालन करना, जहाँ ज़रूरी हो वहाँ प्रकटीकरण करना, और अपने ड्राफ़्ट सँभालकर रखना ताकि आपकी प्रक्रिया दिखाई दे।

Academic Humanizer की भूमिका

शोधकर्ताओं के लिए इस साहित्य का उपयोगी सबक यह है कि अर्थ और डिटेक्टर के निष्कर्ष अलग-अलग हो सकते हैं। Academic Humanizer अर्थ को स्थिर रखने के इर्द-गिर्द बना है: Humanizer सिर्फ़ उन वाक्यों को दोबारा लिखता है जिन्हें डिटेक्टर फ़्लैग करते हैं, आपके दावे, संख्याएँ, शब्दावली और उद्धरण सुरक्षित रखता है, और इंसानी पढ़े जाने वाले वाक्यों को नहीं छूता। इसे Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling और Originality.ai पर परखा गया है, और AI Detection Report हर रीराइट को मूल के बगल में दिखाती है ताकि हर बदलाव को आप ख़ुद मंज़ूर करें।