Does Turnitin Detect AI Watermarks? LLM वॉटरमार्किंग समझें

Turnitin अपने AI डिटेक्टर का जो सार्वजनिक विवरण देता है, वह लेखन के पैटर्न स्कोर करने वाला एक प्रशिक्षित classifier है; उसमें वॉटरमार्क पढ़ने का कोई ज़िक्र नहीं है। LLM वॉटरमार्किंग एक अलग विचार है: AI-जनित टेक्स्ट में, उसके लिखे जाने के क्षण ही, एक सांख्यिकीय संकेत छिपाने का तरीक़ा, ताकि गुप्त key रखने वाला सॉफ़्टवेयर बाद में पुष्टि कर सके कि टेक्स्ट कहाँ से आया। सबसे प्रसिद्ध विधि, John Kirchenbauer और साथियों का "A Watermark for Large Language Models" (ICML 2023), मॉडल को शब्दों के एक गुप्त, यादृच्छिक रूप से चुने गए "ग्रीन" सेट की ओर हल्का-सा धकेलती है। पाठक इसे देख नहीं सकते, लेकिन एक सरल सांख्यिकीय टेस्ट ग्रीन शब्द गिनकर छोटे से अंश में भी यह पैटर्न पकड़ सकता है।

AI डिटेक्शन की चर्चा में वॉटरमार्क अक्सर आते हैं, और अक्सर गलत समझे जाते हैं। यह पोस्ट बताती है कि ग्रीन-लिस्ट विधि कैसे काम करती है, पेपर ने क्या बताया, संपादन संकेत को कैसे कमज़ोर करते हैं, और आज असल में क्या इस्तेमाल हो रहा है।

ग्रीन-लिस्ट वॉटरमार्क कैसे काम करता है

भाषा मॉडल एक बार में एक टोकन लिखता है, जहाँ टोकन कोई शब्द या शब्द का टुकड़ा होता है। हर टोकन चुनने से पहले वॉटरमार्किंग योजना यह करती है:

1. पिछले टोकन से सीडअभी बने टोकन को हैश करके रैंडम नंबर जेनरेटर का सीड बनाया जाता है।
2. शब्दावली का बँटवाराउस सीड से पूरी शब्दावली को एक ग्रीन लिस्ट (शब्दों का γ हिस्सा) और एक रेड लिस्ट (बाक़ी) में बाँटा जाता है।
3. संभावना को झुकानासैंपलिंग से पहले ग्रीन टोकनों के स्कोर में एक छोटा बोनस δ जोड़ा जाता है, ताकि ग्रीन शब्दों की संभावना बढ़ जाए।
4. सामान्य ढंग से सैंपलअगला टोकन चुना जाता है। टेक्स्ट की हर स्थिति के लिए यही दोहराया जाता है।

पेपर दो संस्करण बताता है। हार्ड वॉटरमार्क रेड टोकनों पर पूरी रोक लगा देता है, जिससे टेक्स्ट बिगड़ सकता है जब अगला सही शब्द संयोग से रेड हो। सॉफ़्ट वॉटरमार्क, जिसकी बात ज़्यादातर लोग करते हैं, सिर्फ़ संभावना को झुकाता है। जब मॉडल आश्वस्त होता है (कम एंट्रॉपी, जैसे "Barack" के बाद "Obama"), तो बोनस का असर लगभग नहीं होता और गुणवत्ता बची रहती है। जब कई शब्द बराबर अच्छे हों, तो बोनस फ़ैसला करता है, और ग्रीन शब्द जमा होते जाते हैं।

The survey results suggest that rural clinics face persistent staffing gaps across both regions.

उदाहरण के लिए। हरा = उस स्थिति की ग्रीन लिस्ट का टोकन, लाल = रेड लिस्ट। बिना वॉटरमार्क वाले टेक्स्ट में लगभग γ हिस्सा ही ग्रीन दिखेगा।

वॉटरमार्क पकड़ना: z-स्कोर टेस्ट

डिटेक्शन के लिए मॉडल तक पहुँच की ज़रूरत नहीं। जिसके पास गुप्त हैशिंग कुंजी है, वह पिछले टोकन से हर स्थिति की ग्रीन लिस्ट दोबारा बना सकता है और गिन सकता है कि अंश में कितने टोकन ग्रीन हैं। इंसानी टेक्स्ट इन सूचियों के बारे में कुछ नहीं जानता, इसलिए संयोग से उसके लगभग γ हिस्से के टोकन ग्रीन होंगे। वॉटरमार्क वाले टेक्स्ट में ज़्यादा होंगे।

टेस्ट यह पूछता है कि ग्रीन गिनती कितनी चौंकाने वाली है। T टोकनों में से G ग्रीन हों, तो पेपर वन-प्रोपोर्शन z-टेस्ट इस्तेमाल करता है:

z = (G − γT) / √(T × γ × (1 − γ))

अगर z एक सीमा से ऊपर है, तो टेक्स्ट को वॉटरमार्क वाला चिह्नित किया जाता है। z = 4 की सीमा पर, बिना वॉटरमार्क वाले टेक्स्ट के संयोग से इसे पार करने की संभावना लगभग 0.00003 है, यानी एक लाख में तीन। यही गणित दिखाता है कि छोटे अंश भी क्यों काम कर सकते हैं: γ = 0.5 और हार्ड वॉटरमार्क के साथ, सभी ग्रीन वाले 16 टोकन ही z = 4 दे देते हैं।

पेपर के प्रयोगों में, कई अरब पैरामीटर वाले OPT मॉडल, लगभग 200 टोकन के अनुक्रमों, δ = 2 और γ = 0.5 तथा सामान्य मल्टीनोमियल सैंपलिंग के साथ, टेस्ट ने वॉटरमार्क वाले 98.4% टेक्स्ट पकड़े, और उस सेटिंग में कोई फ़ॉल्स पॉज़िटिव नहीं था। बड़ा δ वॉटरमार्क को मज़बूत और पकड़ने में आसान बनाता है, लेकिन टेक्स्ट की गुणवत्ता की कुछ क़ीमत पर।

संपादन के बाद वॉटरमार्क कितना बचता है

चूँकि हर स्थिति की ग्रीन लिस्ट पिछले टोकन पर निर्भर करती है, एक शब्द बदलने से पूरे टेक्स्ट की नहीं, सिर्फ़ दो-एक स्थितियों की ग्रीन-रेड स्थिति बिगड़ती है। लेखकों ने एक हमला परखा जिसमें T5 मॉडल से अंश बदले गए। इससे वॉटरमार्क कमज़ोर हुआ, लेकिन बदलावों ने टेक्स्ट को भी साफ़ तौर पर बदतर बना दिया, यानी संकेत हटाने और लेखन को काम लायक रखने के बीच एक समझौता था।

बाद के काम ने कठिन हमले परखे:

• पैराफ़्रेज़िंग। Sadasivan और साथियों ने बताया कि बार-बार पैराफ़्रेज़ करने से 1% फ़ॉल्स पॉज़िटिव दर पर वॉटरमार्क वाले 300 टोकन के अंशों का डिटेक्शन 99.3% से गिरकर 9.7% रह गया। देखें क्या AI-जनित टेक्स्ट को भरोसेमंद ढंग से पकड़ा जा सकता है?
• स्पूफ़िंग। उसी पेपर ने दिखाया कि हमलावर मॉडल आउटपुट से ग्रीन लिस्ट का अनुमान लगाकर इंसानी टेक्स्ट को वॉटरमार्क वाला दिखा सकता है, जिससे डिटेक्टर का AUROC 99.8% से 1.3% पर आ गया।
• विश्वसनीयता का बचाव। Kirchenbauer की टीम ने "On the Reliability of Watermarks for Large Language Models" (ICLR 2024) में जवाब दिया: इंसानी और मशीनी पैराफ़्रेज़िंग के बाद भी वॉटरमार्क पकड़ में आते रहे, क्योंकि पैराफ़्रेज़ में मूल के टुकड़े बचे रहते हैं। तीव्र इंसानी शब्द-परिवर्तन वाली एक सेटिंग में, बहुत कम फ़ॉल्स पॉज़िटिव दर पर डिटेक्शन के लिए औसतन लगभग 800 टोकन चाहिए थे।

निष्पक्ष सार यह है: हल्के संपादन वॉटरमार्क को बरक़रार रखते हैं, भारी रीराइटिंग उसे कमज़ोर करती है, और लंबे टेक्स्ट डिटेक्टर को काम करने के लिए ज़्यादा सामग्री देते हैं। रीराइटिंग वाले पहलू पर हमारी पोस्ट DIPPER पैराफ़्रेज़िंग विस्तार से बात करती है।

Turnitin वॉटरमार्क का इस्तेमाल क्यों नहीं करता

वॉटरमार्क सिर्फ़ उसी मॉडल के टेक्स्ट में मिल सकता है जिसने उसे लगाया हो, और सिर्फ़ उसी को जिसके पास कुंजी हो। लोग डिटेक्टर में जो टेक्स्ट डालते हैं, उसका ज़्यादातर हिस्सा कई अलग-अलग मॉडलों से आता है, जिनमें से ज़्यादातर किसी डिटेक्शन कंपनी के साथ वॉटरमार्क कुंजी साझा नहीं करते। इसीलिए व्यावसायिक डिटेक्टर अलग ढंग से काम करते हैं। Turnitin अपनी AI writing detection के सार्वजनिक विवरण में एक प्रशिक्षित ट्रांसफ़ॉर्मर क्लासिफ़ायर बताता है: सबमिशन को एक-दूसरे पर चढ़ते सेगमेंट में बाँटा जाता है, हर वाक्य को स्कोर मिलता है, और स्कोर मिलाकर पूरे दस्तावेज़ का अनुमान बनता है। उस विवरण में वॉटरमार्क पढ़ने जैसा कुछ नहीं है। इस इंडिकेटर को हम Turnitin का AI डिटेक्शन स्कोर समझें में समझाते हैं, और डिटेक्टरों के व्यापक प्रकार AI डिटेक्टर कैसे काम करते हैं में। Turnitin अलग-अलग चैटबॉट में असल में क्या पकड़ने की बात कहता है, यह क्या Turnitin ChatGPT, Claude और Gemini पकड़ता है? में है।

उद्योग में वॉटरमार्किंग की स्थिति

वॉटरमार्किंग शोध से निकलकर कम से कम एक बड़े प्रोडक्शन सिस्टम तक पहुँच चुकी है। Google DeepMind ने अक्टूबर 2024 में Nature में "Scalable watermarking for identifying large language model outputs" प्रकाशित किया, जिसमें SynthID-Text का वर्णन है, जो सिर्फ़ सैंपलिंग चरण बदलता है और भाषा मॉडल चलाए बिना डिटेक्ट करता है। टीम ने लगभग 2 करोड़ Gemini जवाबों पर एक लाइव प्रयोग बताया, जिसमें उपयोगकर्ताओं की आँकी गई गुणवत्ता में कोई गिरावट नहीं दिखी।

OpenAI ने ज़्यादा सावधान रुख़ अपनाया। अगस्त 2024 के एक अपडेट में उसने कहा कि उसकी अपनी टेक्स्ट वॉटरमार्किंग विधि पैराफ़्रेज़िंग जैसी स्थानीय छेड़छाड़ के ख़िलाफ़ बहुत सटीक थी, लेकिन अनुवाद या किसी दूसरे मॉडल से शब्द बदलने जैसे व्यापक बदलावों के ख़िलाफ़ कम, और यह गैर-मूल अंग्रेज़ी भाषियों जैसे समूहों को असमान रूप से प्रभावित कर सकती थी। उस समय उसने यह टूल जारी नहीं किया था।

तो वॉटरमार्क मौजूद हैं और उस सीमित मामले में काम करते हैं जिसके लिए वे बने थे: यह पुष्टि करना कि किसी ख़ास प्रदाता के मॉडल ने कोई टेक्स्ट बनाया। वे इस सामान्य सवाल का जवाब नहीं देते कि किसी पांडुलिपि में कोई भी AI शामिल था या नहीं।

Academic Humanizer से इसका संबंध

ज़्यादातर शोधकर्ताओं के लिए रोज़मर्रा में मायने रखने वाले डिटेक्टर वे क्लासिफ़ायर हैं जो हर वाक्य की शैली को स्कोर करते हैं, वॉटरमार्क पढ़ने वाले नहीं। Academic Humanizer इसी स्तर पर काम करता है: यह उन वाक्यों को खोजता है जिन्हें डिटेक्टर फ़्लैग करते हैं, दावों, संख्याओं, उद्धरणों और शब्दावली को सुरक्षित रखते हुए सिर्फ़ उन्हें दोबारा लिखता है, और बाक़ी ड्राफ़्ट जैसा लिखा था वैसा छोड़ देता है। AI Detection Report आपकी समीक्षा के लिए हर फ़्लैग वाक्य को उसके रीराइट के बगल में रखती है, और आपको फिर भी अपने संस्थान या जर्नल के AI प्रकटीकरण नियमों का पालन करना चाहिए।