कौन-से वाक्य AI फ़्लैग होते हैं? Sentence-Level AI Detection

AI डिटेक्टर किसी वाक्य को तब फ़्लैग करते हैं जब वह लोगों के आम लेखन से ज़्यादा अनुमान-योग्य लगे, और आम संदिग्ध हैं सामान्य शुरुआती वाक्य, दिशा-सूचक वाक्य और सारांश वाली लाइनें। वाक्य-स्तरीय AI डिटेक्शन हर वाक्य (या वाक्यों की एक छोटी खिड़की) को अलग से स्कोर करता है, फिर उन स्कोरों को मिलाकर दस्तावेज़ का नतीजा बनाता है। दस्तावेज़-स्तरीय डिटेक्शन पूरे टेक्स्ट को एक साथ स्कोर करता है। क्योंकि ज़्यादातर असली ड्राफ़्ट मिले-जुले होते हैं, टूल कुछ फ़्लैग हुए वाक्यों को जिस तरह जोड़ता है, वही पूरे टेक्स्ट का निष्कर्ष तय कर सकता है।

अगर आप जानना चाहते हैं कि आपके अपने ड्राफ़्ट में कौन-से वाक्य AI के रूप में फ़्लैग हैं, तो आपको वाक्य-स्तरीय दृश्य चाहिए। यह पोस्ट बताती है कि दोनों तरीक़े कैसे काम करते हैं, मुट्ठी भर वाक्य किसी दस्तावेज़ को क्यों पलट सकते हैं, सिर्फ़ उन्हीं वाक्यों को दोबारा लिखना सब कुछ दोबारा लिखने से ज़्यादा सुरक्षित क्यों है, और कई डिटेक्टर मिलाने पर क्या बदलता है।

टेक्स्ट को स्कोर करने के दो तरीक़े

दस्तावेज़-स्तरीय डिटेक्टर पूरा अंश पढ़कर एक संख्या लौटाता है, जिसे अक्सर इस संभावना के रूप में कहा जाता है कि टेक्स्ट AI-जनित है। उसके पास काम करने को बहुत साक्ष्य होता है, इसलिए अनुमान अपेक्षाकृत स्थिर रहता है। कमी यह है कि वह आपको नहीं बता सकता कि संकेत कहाँ से आया।

वाक्य-स्तरीय डिटेक्टर टेक्स्ट को इकाइयों में तोड़कर हर एक को स्कोर करता है। कई टूल फिर फ़्लैग हुई इकाइयों को हाइलाइट करते हैं और बताते हैं कि वे टेक्स्ट का कितना हिस्सा घेरती हैं। यह लेखन के असली तरीक़े के ज़्यादा क़रीब है: लोग कुछ पैराग्राफ़ ख़ुद ड्राफ़्ट करते हैं, कुछ में मॉडल से मदद लेते हैं, और दोनों में संपादन करते हैं। शोध भी इसी राह पर चला है। EMNLP 2023 में प्रस्तुत SeqXGPT ने इंसानी और AI-संशोधित वाक्यों को मिलाने वाले दस्तावेज़ों का डेटासेट बनाया और बताया कि पहले की विधियाँ वाक्य-स्तर पर संघर्ष करती थीं, जबकि इसका तरीक़ा वाक्य और दस्तावेज़ दोनों स्तरों पर काम करता था (Wang et al., EMNLP 2023)।

We expected attendance to fall after the fee change, and in two of the three districts it did. These findings highlight the important role that economic factors play in shaping educational outcomes. The third district is the puzzle: attendance rose by four points, and the head teachers we interviewed credited a bus route that opened the same term. This suggests that transport access may moderate the effect of fees. Overall, the results underscore the need for a comprehensive approach to policy design.

पाँच में से दो वाक्य फ़्लैग, एक सीमा पर। दस्तावेज़ स्कोर इसे एक अकेली संख्या में धुँधला कर देता।

उदाहरण में देखिए कि कौन-से वाक्य फ़्लैग होते हैं। ये सामान्य सार वाली पंक्तियाँ हैं, जो लगभग किसी भी पेपर को ख़त्म कर सकती हैं। जिन वाक्यों में ख़ास जगहें, संख्याएँ और एक नामित कारण हैं, वे इंसानी पढ़े जाते हैं। यह पैटर्न आम है, और उपयोगी भी: यह ठीक-ठीक बताता है कि संशोधन की मेहनत कहाँ लगानी है।

अकेले वाक्यों के साथ शोर की समस्या

वाक्य स्कोर जानकारी देते हैं, पर अकेले-अकेले अनिश्चित होते हैं। एक वाक्य में कम टोकन होते हैं, इसलिए अनुमान-योग्यता का कोई भी आकलन कमज़ोर साक्ष्य पर टिका होता है। कई टूल इसे एक-दूसरे पर चढ़ती खिड़कियों को स्कोर करके सहज बनाते हैं, जिससे किसी वाक्य का लेबल कुछ हद तक उसके पड़ोसियों पर निर्भर करता है।

Turnitin इस असर के बारे में खुलकर बता चुका है। अपनी फ़ॉल्स पॉज़िटिव दरों पर एक पोस्ट में उसने लगभग 4% की वाक्य-स्तरीय फ़ॉल्स पॉज़िटिव दर बताई, और यह कि 54% फ़ॉल्स पॉज़िटिव वाक्य असली AI लेखन के ठीक बगल में होते हैं (Turnitin)। यानी फ़्लैग वाक्यों के पास के इंसानी वाक्यों के भी फ़्लैग होने की संभावना ज़्यादा है।

व्यावहारिक अर्थ: किसी एक हाइलाइट वाक्य को देखने का संकेत मानें, निष्कर्ष नहीं। किसी एक पंक्ति से ज़्यादा अर्थपूर्ण पूरे पैराग्राफ़ के पैटर्न होते हैं।

कुछ वाक्य दस्तावेज़ को क्यों पलट सकते हैं

हर टूल को वाक्य स्कोरों को दस्तावेज़ के निष्कर्ष में बदलना होता है, और नियम का चुनाव ज़्यादातर उपयोगकर्ताओं की सोच से कहीं ज़्यादा मायने रखता है। आम विकल्पों में औसत वाक्य स्कोर, सीमा से ऊपर वाले वाक्यों का हिस्सा, या उस हिस्से पर एक अलग सीमा शामिल हैं। हिस्से पर आधारित नियम में, चार फ़्लैग वाक्यों वाला 20 वाक्यों का एब्स्ट्रैक्ट 20% पर होता है, जो रिपोर्टिंग रेखा को पार कर भी सकता है और नहीं भी। उनमें से दो ठीक कर दें तो हिस्सा आधा हो जाता है।

समूह भी मायने रखते हैं। चूँकि खिड़की वाले स्कोरिंग में पड़ोसी वाक्य एक-दूसरे को प्रभावित करते हैं, लगातार तीन सामान्य वाक्य चौथे, इंसानी वाक्य को भी रेखा के पार खींच सकते हैं। समूह तोड़ दें तो पड़ोसी अक्सर अपने आप साफ़ हो जाता है। इसीलिए सही जगहों पर कुछ संपादन, समान रूप से फैले बहुत सारे संपादनों से ज़्यादा दस्तावेज़ का नतीजा बदल सकते हैं।

अकादमिक लेखकों के लिए आम दोषी अनुमान-योग्य हैं: शुरुआती संदर्भ वाले वाक्य, दिशा-सूचक वाक्य ("This section discusses"), और समापन सार। इनके सुधार हमने AI जैसे लगने वाले वाक्यों को कैसे सुधारें में दिए हैं। reference list और उद्धृत अंश अलग मामला हैं; देखें Turnitin references और citations को AI क्यों बताता है।

सिर्फ़ फ़्लैग वाक्य ही दोबारा क्यों लिखें

अगर डिटेक्शन वाक्य-दर-वाक्य काम करता है, तो संशोधन भी ऐसा ही होना चाहिए। चार वाक्य ठीक करने के लिए पूरा दस्तावेज़ दोबारा लिखने की तीन क़ीमतें हैं।

• अर्थ का जोखिम दायरे के साथ बढ़ता है। हर दोबारा लिखा वाक्य कोई हेज, कोई संख्या या उद्धरण का जुड़ाव खो सकता है। 4 वाक्य दोबारा लिखने पर खिसकने के चार मौक़े हैं; 40 पर चालीस। देखें अर्थ और उद्धरण सुरक्षित रखना।
• आपकी आवाज़ ग़ायब हो जाती है। जो वाक्य इंसानी पढ़े जाते हैं, वे आम तौर पर वही होते हैं जिनमें आपके ख़ास अवलोकन होते हैं। पूरा रीराइट उन्हें सपाट कर देता है।
• नए फ़्लैग आ सकते हैं। हर जगह लगाया गया रीराइटर पहले साफ़ वाक्यों को भी एकरूप बना सकता है, जिससे दूसरी जगहों के स्कोर बढ़ जाते हैं।

1. हर वाक्य को स्कोर करेंपता करें कि कौन-सी इकाइयाँ मशीन जैसी पढ़ी जाती हैं और कौन-सी पहले से इंसानी।
2. इंसानी वाक्यों को न छुएँउन्हें ठीक वैसे ही, शब्दशः लौटाएँ जैसे लिखे गए थे।
3. फ़्लैग वाक्य दोबारा लिखेंदावे, संख्याएँ, उद्धरण और शब्दावली रखते हुए रचना और लय बदलें।
4. संदर्भ में दोबारा स्कोर करेंनए वाक्यों को पूरे पैराग्राफ़ के भीतर जाँचें, क्योंकि पड़ोसी स्कोर पर असर डालते हैं।
5. ज़रूरत हो तो दोहराएँजो वाक्य अब भी फ़्लैग है, उसे दूसरा मौक़ा दें।

कई डिटेक्टरों को मिलाना

अलग-अलग डिटेक्टर अलग प्रशिक्षण डेटा, सीमाएँ और विश्लेषण की इकाइयाँ इस्तेमाल करते हैं, इसलिए वे अक्सर एक ही वाक्य पर असहमत होते हैं (कारण हम AI डिटेक्टर आपस में असहमत क्यों होते हैं में बताते हैं)। उन्हें मिलाने से एक डिज़ाइन सवाल उठता है जो वाक्य-से-दस्तावेज़ वाले सवाल जैसा ही है: क्या कोई वाक्य तब फ़्लैग माना जाए जब कोई भी डिटेक्टर उसे फ़्लैग करे, या सिर्फ़ तब जब ज़्यादातर करें?

Liang et al. का अध्ययन दिखाता है कि यह चुनाव कितना मायने रखता है। इंसानों के लिखे TOEFL निबंधों पर सात डिटेक्टर चलाकर लेखकों ने पाया कि 97.8% को कम से कम एक डिटेक्टर ने फ़्लैग किया, जबकि 19.8% को सातों ने (Liang et al., Patterns 2023)।

• कम से कम एक डिटेक्टर ने फ़्लैग किया97.8%
• डिटेक्टरों का औसत61.3%
• सातों ने फ़्लैग किया19.8%

स्रोत: Liang et al., "GPT detectors are biased against non-native English writers", Patterns 2023

वही निबंध, वही डिटेक्टर, तीन बहुत अलग संख्याएँ। सख़्त "कोई भी डिटेक्टर" नियम AI टेक्स्ट छूटने के बारे में सावधान है, लेकिन यहाँ लगभग हर इंसानी निबंध को फ़्लैग कर देता है। "सर्वसम्मत" नियम इंसानी लेखकों के प्रति नरम है, लेकिन ज़्यादा चूकता है। कोई भी सार्वभौमिक रूप से सही नहीं है; ज़रूरी यह जानना है कि रिपोर्ट कौन-सा नियम इस्तेमाल करती है और उसे उसी नज़र से पढ़ना। लेखकों के लिए ड्राफ़्ट को कई डिटेक्टरों पर जाँचना किसी एक स्कोर पर भरोसा करने से ज़्यादा ईमानदार तस्वीर देता है, क्योंकि इससे दिखता है कि टूल कहाँ सहमत हैं और कहाँ फ़्लैग शायद शोर है।

Academic Humanizer वाक्य-स्तरीय स्कोरिंग का इस्तेमाल कैसे करता है

Academic Humanizer का Humanizer इसी वाक्य-स्तरीय तर्क पर बना है। यह आपके ड्राफ़्ट में वे वाक्य खोजता है जिन्हें AI डिटेक्टर फ़्लैग करते हैं, सिर्फ़ उन्हें दोबारा लिखता है, और जो वाक्य पहले से इंसानी पढ़े जाते हैं उन्हें ठीक वैसे ही लौटाता है जैसे आपने लिखे। अगर कुछ फ़्लैग नहीं होता, तो आउटपुट इनपुट के बराबर होता है और कोई क्रेडिट नहीं कटता। AI Detection Report हर फ़्लैग वाक्य को उसके रीराइट के साथ जोड़ती है और ड्राफ़्ट व आउटपुट की एक ही पैमाने पर, यानी इंसानी पढ़े गए वाक्यों के हिस्से पर, तुलना करती है, और नतीजे Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling और Originality.ai पर जाँचे जाते हैं। अगर कुछ वाक्य अब भी फ़्लैग हैं, तो रिपोर्ट यह बताती है और आप उन अंशों को फिर से चला सकते हैं।