Does Turnitin Detect QuillBot? पैराफ़्रेज़र क्यों फ़ेल होते हैं

अक्सर, हाँ। जब टेक्स्ट AI आउटपुट के रूप में शुरू हुआ हो, तो Turnitin अब QuillBot जैसी पैराफ़्रेज़िंग को एक अलग कैटेगरी में रिपोर्ट करता है, जैसा नीचे बताया गया है। आम तौर पर पैराफ़्रेज़िंग टूल AI डिटेक्शन के सामने एक सीधी वजह से विफल होते हैं: वे शब्द बदलते हैं, जबकि डिटेक्टर उन पैटर्नों पर प्रतिक्रिया करते हैं जो शब्द-स्तर से ऊपर रहते हैं। पर्यायवाची बदलने वाला टूल हर वाक्य में "significant" की जगह "notable" रख सकता है और वाक्य की लंबाई, उपवाक्यों का क्रम, लय और कुल अनुमान-योग्यता को लगभग अछूता छोड़ सकता है। जब वह स्कोर हिलाने लायक बदलाव करता भी है, तो अक्सर रास्ते में अर्थ या शब्दावली को नुक़सान पहुँचाता है।

डिटेक्टर विक्रेताओं ने भी सीधे जवाब दिया है। Turnitin के दस्तावेज़ अब उस टेक्स्ट के लिए एक अलग श्रेणी बताते हैं जो संभवतः AI-जनित था और फिर किसी AI पैराफ़्रेज़िंग टूल या वर्ड स्पिनर से बदला गया, और उदाहरण के रूप में QuillBot का नाम लेते हैं (Turnitin guides)। यह पोस्ट बताती है कि डिटेक्टर असल में किस पर प्रतिक्रिया करते हैं, स्पिनर क्यों संघर्ष करते हैं, और चुनिंदा, अर्थ बचाने वाला संशोधन कैसे अलग है।

डिटेक्टर असल में किस पर प्रतिक्रिया करता है

डिटेक्टर "AI शब्दों" की कोई सूची नहीं रखते। वे यह स्कोर करते हैं कि टेक्स्ट किसी भाषा मॉडल के लिए कितना अनुमान-योग्य है, वह अनुमान-योग्यता वाक्यों में कितनी समान रूप से फैली है, और प्रशिक्षित क्लासिफ़ायर में, उदाहरणों से सीखी गई कई सूक्ष्म नियमितताएँ। विधियों को हम AI डिटेक्टर कैसे काम करते हैं में समझाते हैं, लेकिन यहाँ तीन संकेत सबसे ज़्यादा मायने रखते हैं।

• अनुमान-योग्यता। क्या हर अगला टोकन वैसा दिखता है जैसा कोई मॉडल चुनता? किसी विशेषण को निकट पर्यायवाची से बदलने पर टोकन की संभावना आम तौर पर पहले जितनी ही रहती है।
• रचना। विषय वाक्य, सहायक उपवाक्य, "This suggests that" वाला सार। साँचे वाले पैराग्राफ़ शब्द-स्तर के संपादन के बाद भी अपना ढाँचा रखते हैं।
• लय। वाक्यों की लंबाई और उपवाक्यों के पैटर्न जो पूरे पैराग्राफ़ में एकरूप रहते हैं। स्पिनर शायद ही कभी वाक्यों को तोड़ता या जोड़ता है।

यानी स्पिनर उस एक परत पर काम करता है जिसे डिटेक्टर सबसे कम वज़न देते हैं, और उन परतों को छोड़ देता है जिन्हें वे सबसे ज़्यादा वज़न देते हैं।

पर्यायवाची बदलना उल्टा क्यों पड़ता है

पारंपरिक स्पिनर संदर्भ की बहुत कम समझ के साथ किसी थिसॉरस या छोटे मॉडल से विकल्प चुनते हैं। अकादमिक टेक्स्ट में इससे एक साथ दो समस्याएँ पैदा होती हैं।

पहली, यह शक घटाने के बजाय बढ़ा सकता है। वरना साँचेदार वाक्य में अजीब शब्द-चुनाव ख़ुद एक पैटर्न है, और प्रशिक्षित क्लासिफ़ायर इसे सीख सकते हैं। इसी तरह Turnitin जैसा टूल पैराफ़्रेज़ वाली श्रेणी बता पाता है।

दूसरी, यह शब्दावली तोड़ देता है। शोध क्षेत्र तय शब्दों पर टिके होते हैं: "confidence interval", "random forest", "informed consent", "grounded theory"। थिसॉरस नहीं जानता कि ये तय हैं। Cabanac, Labbé और Magazinov ने प्रकाशित पेपरों में इस नुक़सान को दर्ज किया और इसे "tortured phrases" नाम दिया, उदाहरण के रूप में "artificial intelligence" की जगह "counterfeit consciousness" (Cabanac et al., 2021)। उन्होंने पाया कि ऐसे वाक्यांश एक स्थापित जर्नल के एब्स्ट्रैक्ट में केंद्रित थे, जो दिखाता है कि ऐसे बदलाव किसी विशेषज्ञ पाठक को कितने साफ़ दिखते हैं।

पहले

We fitted a random forest model and report the mean absolute error on the held-out test set.

बाद में

We fitted a haphazard woodland model and report the average total blunder on the kept-back test set.

वाक्य की रचना वही है। लय वही है। सिर्फ़ शब्द बदले, और हर बदलाव गलत है। कोई समीक्षक यहीं पढ़ना बंद कर देगा।

जब भारी पैराफ़्रेज़िंग स्कोर हिला देती है

ज़्यादा मज़बूत पैराफ़्रेज़र मौजूद हैं, और शोध दिखाता है कि वे डिटेक्शन दर बहुत घटा सकते हैं। Krishna और साथियों ने DIPPER प्रशिक्षित किया, एक पैराफ़्रेज़र जो नियंत्रित तीव्रता के साथ सामग्री का क्रम बदल सकता है और शब्दों में विविधता ला सकता है। इससे पैराफ़्रेज़ करने पर 1% फ़ॉल्स पॉज़िटिव दर पर DetectGPT की डिटेक्शन दर 70.3% से गिरकर 4.6% रह गई, और इसने वॉटरमार्क-आधारित और व्यावसायिक डिटेक्टरों को भी नुक़सान पहुँचाया (Krishna et al., NeurIPS 2023)। Sadasivan et al. बार-बार पैराफ़्रेज़िंग के साथ और आगे गए, यानी एक पैराफ़्रेज़र को लगातार कई बार लागू करना (Sadasivan et al., TMLR)।

• मूल मॉडल आउटपुट70.3%
• DIPPER पैराफ़्रेज़ के बाद4.6%

स्रोत: Krishna et al., "Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense", NeurIPS 2023

उस साहित्य के दो ब्योरे अकादमिक लेखकों के लिए मायने रखते हैं। जो पैराफ़्रेज़र कारगर रहे, उन्होंने सिर्फ़ शब्दावली नहीं, रचना और क्रम बदला, जो ऊपर की बात का समर्थन करता है। और ये सामान्य टेक्स्ट पर परखे गए शोध मॉडल थे, जहाँ पैराफ़्रेज़ को सिर्फ़ अर्थ के क़रीब रहना था। जर्नल लेख की शर्तें ज़्यादा कड़ी होती हैं: कोई हेज, इकाई या उद्धरण एक उपवाक्य खिसक जाए तो पेपर का दावा बदल सकता है। डिटेक्टर भी ख़ुद को ढालते हैं। Krishna et al. ने उसी पेपर में एक retrieval बचाव प्रस्तावित किया, और RAID बेंचमार्क दिखाता है कि हमलों और सेटिंग्स के साथ डिटेक्टर के नतीजे कितने झूलते हैं (Dugan et al., ACL 2024)। ज़्यादा जानकारी के लिए DIPPER पेपर पर हमारी व्याख्या देखें।

क्या Turnitin QuillBot पैराफ़्रेज़िंग पकड़ता है?

AI से बने टेक्स्ट के लिए Turnitin का जवाब हाँ है। उसकी AI Writing Report गाइड उस टेक्स्ट के लिए अलग हाइलाइट बताती है जो संभवतः AI से बना और फिर किसी AI पैराफ़्रेज़िंग टूल या word spinner से बदला गया, और उदाहरण के रूप में QuillBot का नाम लेती है। August 2025 से Turnitin AI bypasser टूल से गुज़रे टेक्स्ट को भी खोजता है। दोनों जाँचें सिर्फ़ अंग्रेज़ी सबमिशन पर चलती हैं।

हमेशा ऐसा नहीं था। Weber-Wulff और साथियों के 2023 के टेस्ट में, डिफ़ॉल्ट सेटिंग पर एक बार QuillBot से गुज़ारा गया ChatGPT टेक्स्ट 14 टूलों में, जिनमें Turnitin भी था, औसतन सिर्फ़ 26% बार सही पहचाना गया। Turnitin की पैराफ़्रेज़ कैटेगरी बाद में, July 2024 के अपडेट में आई।

दो सीमाएँ जानने लायक हैं:

• Turnitin यह कैटेगरी उस टेक्स्ट के लिए बताता है जो पहले AI से बना था। पैराफ़्रेज़र से गुज़रे इंसानी लेखन के लिए वह आँकड़े प्रकाशित नहीं करता।
• हाइलाइट एक अनुमान है। Turnitin कहता है कि उसका AI स्कोर किसी छात्र के ख़िलाफ़ कार्रवाई का अकेला आधार नहीं होना चाहिए।

Humanizer यही सवाल दूसरे रूप में उठाते हैं; देखें क्या Turnitin humanized टेक्स्ट पकड़ सकता है?

असली क़ीमत: अर्थ का खिसकना

पूरे दस्तावेज़ की पैराफ़्रेज़िंग हर वाक्य को निशाना मानती है। इसमें वे वाक्य भी शामिल हैं जो आपने ख़ुद लिखे, जिन्हें किसी डिटेक्टर ने फ़्लैग नहीं किया, और जिनमें सटीक दावे हैं। टूल जितना ज़्यादा टेक्स्ट दोबारा लिखता है, उसके पास उतने ज़्यादा मौक़े होते हैं कि वह:

• "may be associated with" को "causes" बना दे (हेजिंग का खिसकना),
• किसी उद्धरण को उस दावे से दूर कर दे जिसका वह समर्थन करता है,
• 0.047 को "about 0.05" कर दे या कोई इकाई गिरा दे,
• किसी परिभाषित शब्द की जगह ढीला-ढाला रोज़मर्रा का शब्द रख दे।

इनमें से हर एक तेज़ पाठ में चूकना आसान है और पीयर रिव्यू में महँगा। 14 डिटेक्शन टूल परखने वाले Weber-Wulff और साथियों ने पाया कि सामग्री को छिपाने से, जिसमें हाथ से संपादन और मशीनी पैराफ़्रेज़िंग शामिल हैं, टूलों का प्रदर्शन काफ़ी बिगड़ा (Weber-Wulff et al., 2023)। इस नतीजे को अक्सर पैराफ़्रेज़ करने की वजह के रूप में उद्धृत किया जाता है। इसे उल्टी तरफ़ से पढ़ें: अगर डिटेक्शन इतना अस्थिर है, तो आप पक्के तौर पर सिर्फ़ एक चीज़ नियंत्रित करते हैं, कि आपका पेपर अब भी वही कहता है जो आपका आशय था। समीक्षा वाला पहलू हम ह्यूमनाइज़ करते समय अर्थ और उद्धरण बचाना में बताते हैं।

चुनिंदा, अर्थ बचाने वाली रीराइटिंग अलग क्या करती है

बेहतर तरीक़ा पूरे टेक्स्ट से नहीं, ड्राफ़्ट को डिटेक्टर की नज़र से देखने से शुरू होता है। सब कुछ दोबारा लिखने के बजाय यह पूछता है कि कौन-से वाक्य सचमुच मशीन जैसे पढ़े जाते हैं, और सिर्फ़ उन्हीं पर काम करता है।

1. स्कैनहर वाक्य को स्कोर करें और वे खोजें जिन्हें डिटेक्टर फ़्लैग करते हैं।
2. लॉकसंख्याओं, इकाइयों, उद्धरणों, हेज और क्षेत्र के शब्दों को स्थिर के रूप में चिह्नित करें।
3. सिर्फ़ फ़्लैग वाक्य दोबारा लिखेंदावा और उसकी ताक़त रखते हुए, जहाँ ज़रूरी हो वहाँ रचना और लय बदलें।
4. दोबारा जाँचनए संस्करण को मूल वाले पैमाने पर ही स्कोर करें।
5. लेखक की समीक्षाहर बदलाव को स्वीकार करने से पहले मूल के बगल में पढ़ें।

यह स्पिनर से तीन तरह से अलग है। यह सिर्फ़ शब्दावली के बजाय उन परतों को संपादित करता है जिन पर डिटेक्टर प्रतिक्रिया करते हैं (रचना और लय)। यह इंसानी पढ़े जाने वाले वाक्यों को नहीं छूता, जिससे आपकी आवाज़ बनी रहती है और गलतियाँ घुसने का दायरा सीमित रहता है। और यह पहले और बाद में मापता है, ताकि अंदाज़ा लगाने के बजाय आप देख सकें कि बदलाव से मदद मिली या नहीं।

यह फिर भी संशोधन है, जादू नहीं। कुछ वाक्यों को दूसरे दौर की ज़रूरत होगी, और हर शब्द की ज़िम्मेदारी लेखक की रहती है। अगर आपके कोर्स या जर्नल में AI सहायता के नियम हैं, तो उनका पालन करें; हमारा गाइड असाइनमेंट पर AI इस्तेमाल करने से पहले पूछने लायक सवाल अच्छी शुरुआत है, और AI ह्यूमनाइज़र बनाम पैराफ़्रेज़र बनाम ग्रामर चेकर टूलों के प्रकारों की अगल-बगल तुलना करता है।

Academic Humanizer इसे कैसे करता है

Academic Humanizer चुनिंदा मॉडल का पालन करता है। Humanizer आपके ड्राफ़्ट में वे वाक्य खोजता है जिन्हें AI डिटेक्टर फ़्लैग करते हैं, सिर्फ़ उन्हें दोबारा लिखता है, और बाक़ी हर वाक्य को ठीक वैसे ही लौटाता है जैसे आपने लिखा, तर्क, संख्याएँ, उद्धरण और क्षेत्र की शब्दावली अपनी जगह रखते हुए। अगर कुछ फ़्लैग नहीं होता, तो आउटपुट इनपुट के बराबर होता है और कोई क्रेडिट नहीं कटता। AI Detection Report हर फ़्लैग वाक्य को उसके रीराइट के साथ जोड़ती है और दोनों संस्करणों की इंसानी पढ़े गए वाक्यों के हिस्से पर तुलना करती है, Turnitin, GPTZero, Copyleaks और Originality.ai जैसे डिटेक्टरों पर जाँच के साथ। अंतिम टेक्स्ट आप फिर भी ख़ुद पढ़ते और मंज़ूर करते हैं।