क्या AI Detection दूसरी भाषाओं में काम करता है? Humanizer Roadmap

अंग्रेज़ी के बाहर AI डिटेक्शन अंग्रेज़ी के मुक़ाबले कहीं ज़्यादा अधूरा है: Turnitin का AI writing डिटेक्शन अंग्रेज़ी, स्पेनिश, जापानी और अरबी को कवर करता है, और ज़्यादातर डिटेक्टर पहले अंग्रेज़ी के लिए बने। Humanizer आज अंग्रेज़ी इनपुट स्वीकार करता है। कोरियाई, स्पेनिश, चीनी, जापानी और फ़्रेंच पर काम चल रहा है, और ऐप के इनपुट गाइड में ये पहले से "जल्द आ रहा है" के रूप में दिखती हैं। Academic Humanizer की वेबसाइट और यह ब्लॉग पहले से 10 भाषाओं में उपलब्ध हैं।

नई इनपुट भाषाओं के लिए हम कोई तारीख़ नहीं दे रहे हैं, और यह पोस्ट बताती है कि क्यों। किसी भाषा में अच्छी तरह ह्यूमनाइज़ करना अनुवाद का काम नहीं है। यह इस पर निर्भर करता है कि उस भाषा में डिटेक्टर कैसा व्यवहार करते हैं, टेक्स्ट को इकाइयों में कैसे बाँटा जाता है, और वहाँ अच्छा अकादमिक गद्य कैसा दिखता है।

आज भाषा सपोर्ट की स्थिति

अकादमिक प्रकाशन का बड़ा हिस्सा अंग्रेज़ी में होता है, और ज़्यादातर AI डिटेक्टर भी इसी भाषा को ध्यान में रखकर बनाए गए थे। अंग्रेज़ी में प्रकाशित करने वाले कई शोधकर्ता इसे दूसरी या तीसरी भाषा के रूप में लिखते हैं, इसलिए अंग्रेज़ी इनपुट पहले से ही एक बहुभाषी लेखक समूह की सेवा करता है।

बहुभाषी ह्यूमनाइज़िंग दिखने से ज़्यादा कठिन क्यों है

Humanizer जैसे वाक्य-स्तरीय ह्यूमनाइज़र को हर भाषा में तीन काम करने होते हैं: ड्राफ़्ट को सही ढंग से वाक्यों में बाँटना, उन वाक्यों को पहचानना जिन्हें डिटेक्टर फ़्लैग करते हैं, और सिर्फ़ उन्हीं को उस क्षेत्र के अनुकूल शैली में दोबारा लिखना। अंग्रेज़ी के बाहर हर चरण और कठिन हो जाता है।

1. डिटेक्टर ज़्यादातर अंग्रेज़ी के लिए बने थे

सबसे ज़्यादा इस्तेमाल होने वाले AI डिटेक्टर मुख्य रूप से अंग्रेज़ी टेक्स्ट पर विकसित और परखे गए थे। दूसरी भाषाओं पर उनके व्यवहार का अध्ययन कम हुआ है, और शोध पहले ही दिखा चुका है कि जो लेखन उनके प्रशिक्षण के पैटर्न से हटकर होता है, उसे डिटेक्टर गलत आँक सकते हैं। गैर-मूल अंग्रेज़ी लेखन पर हुए एक अध्ययन में पाया गया कि डिटेक्टरों ने उसे मूल वक्ताओं के लेखन की तुलना में कहीं ज़्यादा बार AI-जनित बताया, मुख्यतः इसलिए कि सरल और अनुमान-योग्य वाक्य उन्हें मशीन जैसे लगते हैं। उस अध्ययन पर हमारी पोस्ट है: GPT डिटेक्टर गैर-मूल अंग्रेज़ी लेखकों के प्रति पक्षपाती हैं।

अगर अंग्रेज़ी के भीतर ही डिटेक्शन असमान है, तो भाषाओं के बीच और ज़्यादा असमानता की उम्मीद करना स्वाभाविक है। कोई नई इनपुट भाषा स्वीकार करने से पहले हमें जानना होता है कि कौन-से डिटेक्टर उसे संभालते हैं, वे आपस में कहाँ असहमत होते हैं, और वहाँ गलत फ़्लैग कैसा दिखता है।

2. टेक्स्ट अलग ढंग से बँटता है

डिटेक्टर और भाषा मॉडल शब्द नहीं पढ़ते। वे टोकन पढ़ते हैं, यानी टेक्स्ट के वे टुकड़े जो मॉडल की शब्दावली में मौजूद होते हैं। अंग्रेज़ी में आम शब्द अक्सर एक ही टोकन होते हैं। जिन भाषाओं में शब्दों के अंत में कई प्रत्यय जुड़ते हैं, या शब्दों के बीच स्पेस नहीं होता, वहाँ वही बात ज़्यादा और छोटे टुकड़ों में कट सकती है।

The results were significant / 결과가 유의미했다

केवल उदाहरण के लिए। हरा: एक जाना-पहचाना पूरा शब्द। लाल: छोटे टुकड़ों में टूटा शब्द। असली विभाजन हर मॉडल की शब्दावली पर निर्भर करता है।

यह दो कारणों से मायने रखता है। सांख्यिकीय डिटेक्टर यह आँकते हैं कि हर टोकन कितना अनुमान-योग्य है, इसलिए अलग विभाजन से उन्हें मिलने वाला संकेत बदल जाता है। और वाक्य-विभाजन भी अलग होता है: चीनी और जापानी में वाक्य के अंत के विराम-चिह्न अलग हैं और स्पेस नहीं होते, जबकि कोरियाई और जापानी में वाक्य-अंत शिष्टता और शैली का भाव लिए होते हैं। जो ह्यूमनाइज़र वाक्य गलत बाँटता है, वह गलत हिस्सों को दोबारा लिखेगा।

3. अकादमिक शैली भाषा के साथ बदलती है

"इंसान जैसा लगना" हर भाषा में एक ही लक्ष्य नहीं है। अच्छा अकादमिक गद्य अलग-अलग परंपराओं का पालन करता है:

• कोरियाई शोध लेखन में आम तौर पर सादा घोषणात्मक वाक्य-अंत और औपचारिक, निर्वैयक्तिक लहजा होता है।
• जापानी शोधपत्र आम तौर पर विनम्र बोलचाल की शैली के बजाय औपचारिक लिखित शैली अपनाते हैं, और पूरे टेक्स्ट में यह चुनाव एक जैसा रहना चाहिए।
• स्पेनिश और फ़्रेंच अकादमिक गद्य में अक्सर लंबे वाक्य और निर्वैयक्तिक रचनाएँ पसंद की जाती हैं, जो अंग्रेज़ी में लंबी-चौड़ी लगेंगी।
• चीनी अकादमिक लेखन के अपने औपचारिक संयोजक और तय मुहावरे होते हैं, और उनका ज़रूरत से ज़्यादा इस्तेमाल साँचे में ढले टेक्स्ट का जाना-माना संकेत है।

जो रीराइट किसी दूसरी भाषा में अंग्रेज़ी की स्वाभाविक शैली को बस उठाकर रख दे, वह पाठकों को भी निराश करेगा और शायद डिटेक्टरों को भी। हर भाषा को अपनी समझ चाहिए कि एक साफ़ विद्वत्तापूर्ण वाक्य कैसा दिखता है, साथ ही क्षेत्र की शब्दावली पर ध्यान, जिसमें अक्सर स्थानीय शब्द और अंग्रेज़ी से लिए गए शब्द घुले-मिले रहते हैं।

क्या Turnitin और GPTZero दूसरी भाषाओं में AI पकड़ते हैं?

कुछ पकड़ते हैं, सीमित भाषाओं के लिए। Turnitin की AI Writing Report गाइड अंग्रेज़ी, स्पेनिश, जापानी और अरबी को सपोर्टेड बताती है, और किसी दूसरी भाषा की फ़ाइल को AI writing रिपोर्ट नहीं मिलती। यह साफ़ नतीजे जैसा नहीं है। AI से पैराफ़्रेज़ और AI bypasser से बदले टेक्स्ट की Turnitin की पहचान सिर्फ़ अंग्रेज़ी पर काम करती है।

GPTZero का FAQ कहता है कि उसका मॉडल अंग्रेज़ी, स्पेनिश, फ़्रेंच, जर्मन और दूसरी भाषाएँ सपोर्ट करता है, और Copyleaks 30 से ज़्यादा भाषाएँ कवर करने की बात कहता है। ये विक्रेताओं के बयान हैं। अंग्रेज़ी के बाहर स्वतंत्र टेस्टिंग अंग्रेज़ी के मुक़ाबले बहुत कम है।

अगर आप किसी दूसरी भाषा में लिखते हैं, तो तीन बातें निकलती हैं:

• जाँचें कि आपकी यूनिवर्सिटी या जर्नल जो डिटेक्टर इस्तेमाल करता है, वह आपकी भाषा सपोर्ट करता भी है या नहीं।
• नई सपोर्ट हुई भाषा के स्कोर के पीछे अंग्रेज़ी स्कोर से कम टेस्टिंग होने की उम्मीद रखें।
• अनुवाद में सावधानी रखें। 14 टूल वाली 2023 की एक स्टडी में, मशीन से अंग्रेज़ी में अनुवाद किया गया इंसानी लेखन मूल अंग्रेज़ी टेक्स्ट की तुलना में लगभग 20 पॉइंट कम बार सही पहचाना गया (देखें उस स्टडी में क्या मिला)।

कोई भाषा चालू करने से पहले हम क्या जाँचेंगे

1. वाक्य-विभाजनउस भाषा के ड्राफ़्ट वैसे ही वाक्यों में बँटने चाहिए जैसे कोई पाठक उन्हें बाँटेगा।
2. डिटेक्टर कवरेजहमें जानना होगा कि जिन डिटेक्टरों से हम जाँच करते हैं, वे उस भाषा पर कैसा व्यवहार करते हैं।
3. शैली की गुणवत्तारीराइट उस भाषा का औपचारिक अकादमिक गद्य लगना चाहिए, अनुवादित अंग्रेज़ी नहीं।
4. अर्थ और शब्दावलीसंख्याएँ, उद्धरण और क्षेत्र की शब्दावली रीराइट के बाद भी जस की तस रहनी चाहिए।

कोई भाषा इन जाँचों में सफल होने के बाद ही "जल्द आ रहा है" से "उपलब्ध" में जाती है। इसीलिए हम तारीख़ों का वादा नहीं कर रहे: काम तभी पूरा होता है जब वह ठीक से हो।

तब तक क्या करें

अगर आप अंग्रेज़ी को अतिरिक्त भाषा के रूप में लिखते हैं, तो Humanizer आज ही आपके काम आ सकता है। आपका ड्राफ़्ट वाक्य-दर-वाक्य स्कैन होता है, सिर्फ़ फ़्लैग हुए वाक्य दोबारा लिखे जाते हैं, और बाक़ी हिस्सा वैसा ही रहता है जैसा आपने लिखा। जिन लेखकों की सीधी-सादी अंग्रेज़ी को डिटेक्टर गलत पढ़ते हैं, उनके लिए यही सबसे उपयोगी तरीक़ा होता है। हमारी एक गैर-मूल अंग्रेज़ी लेखक की केस स्टडी इस स्थिति को विस्तार से देखती है।

अगर आपकी पांडुलिपि किसी दूसरी भाषा में है, तो उसे अंग्रेज़ी में अनुवाद करके वापस लाने के बजाय उस भाषा के सपोर्ट का इंतज़ार करें। अनुवाद के आने-जाने में वह शैली सपाट हो जाती है जिसे आप बचाना चाहते हैं। और आप किसी भी भाषा में लिखें, AI-सहायता वाला काम जमा करने से पहले अपने संस्थान या लक्षित जर्नल की AI नीति ज़रूर देखें।

अक्सर पूछे जाने वाले सवाल

क्या मैं अभी Academic Humanizer से कोरियाई टेक्स्ट ह्यूमनाइज़ कर सकता हूँ?

अभी नहीं। आज इनपुट केवल अंग्रेज़ी में है। कोरियाई उन पाँच भाषाओं में से एक है जो जल्द आ रही हैं, साथ में स्पेनिश, चीनी, जापानी और फ़्रेंच।

नई इनपुट भाषाएँ कब लॉन्च होंगी?

हमने तारीख़ें घोषित नहीं की हैं। हर भाषा ऊपर बताई गई जाँचों में सफल होने के बाद ही लाइव होती है।

क्या वेबसाइट मेरी भाषा में उपलब्ध है?

वेबसाइट और ब्लॉग अंग्रेज़ी, कोरियाई, जापानी, सरलीकृत चीनी, स्पेनिश, फ़्रेंच, जर्मन, हिंदी, इतालवी और पुर्तगाली में उपलब्ध हैं।

AI डिटेक्टर गैर-अंग्रेज़ी टेक्स्ट पर कम भरोसेमंद क्यों हैं?

ज़्यादातर डिटेक्टर मुख्य रूप से अंग्रेज़ी पर विकसित और परखे गए थे। अलग टोकनाइज़ेशन और अलग लेखन परंपराएँ उन संकेतों को बदल देती हैं जिन पर वे निर्भर करते हैं। पृष्ठभूमि के लिए देखें AI डिटेक्टर कैसे काम करते हैं।

और भाषाओं की ओर

Academic Humanizer इसलिए है ताकि शोधकर्ताओं के अपने विचारों पर मशीन टेक्स्ट का गलत ठप्पा न लगे। यह समस्या अंग्रेज़ी पर ख़त्म नहीं होती, और Humanizer भी वहीं नहीं रुकेगा। फ़िलहाल, अगर आपका ड्राफ़्ट अंग्रेज़ी में है, तो आप उसे आज ही चला सकते हैं और वाक्य-दर-वाक्य देख सकते हैं कि डिटेक्टर क्या पकड़ते हैं।