Is GPTZero Accurate? GPTZero vs Turnitin vs ZeroGPT की तुलना

क्या GPTZero सटीक है? स्वतंत्र टेस्ट कहते हैं कि उसके अपने आँकड़ों से कम, और यही बात ZeroGPT और Turnitin पर भी लागू होती है। तीनों एक ही पैराग्राफ़ को अलग-अलग फ़ैसले क्यों देते हैं, इसकी बड़ी वजह यह है कि वे एक ही चीज़ नहीं माप रहे। Turnitin आपके गद्य का एक हिस्सा बताता है, GPTZero पूरे दस्तावेज़ के बारे में एक संभावना बताता है, Originality.ai उपयोगकर्ता को तय करने देता है कि कितना AI सहन करना है, और हर टूल अपनी रेखा अलग जगह खींचता है, अलग न्यूनतम लंबाई पर, अलग डेटा पर प्रशिक्षित और अपने ही समय पर अपडेट होने वाले मॉडल के साथ।

यह इस बात का सबूत नहीं कि कोई एक टूल ख़राब है। यही होता है जब कई संभाव्य क्लासिफ़ायर ऐसे टेक्स्ट पर स्वतंत्र फ़ैसले करते हैं जो सचमुच अस्पष्ट है, और औपचारिक अकादमिक गद्य अक्सर ऐसा ही होता है।

वे एक ही संख्या नहीं बताते

स्कोर अलग क्यों होते हैं, यह देखने का सबसे तेज़ तरीक़ा है पढ़ना कि हर विक्रेता अपनी मुख्य संख्या का क्या मतलब बताता है। नीचे की टेबल सिर्फ़ विक्रेताओं के अपने सार्वजनिक पेजों का इस्तेमाल करती है, और त्रुटि के आँकड़े उनके दावे हैं, हमारे नहीं।

इनमें से दो को अगल-बगल रखें। GPTZero समझाता है कि "4% AI" का दावा यह नहीं कि आपके दस्तावेज़ के 4% में AI है; यह मॉडल की यह संभावना है कि पूरा दस्तावेज़ AI-लिखित है। Turnitin का 40% इस बारे में दावा है कि आपके गद्य का कितना हिस्सा AI-जनित दिखता है। दोनों प्रतिशत हैं, और दोनों अलग सवालों के जवाब देते हैं। Sapling अपने हाइलाइट के बारे में यही चेतावनी देता है: वे कुल स्कोर से अलग हो सकते हैं।

सीमाएँ नीतिगत चुनाव हैं

हर डिटेक्टर एक निरंतर स्कोर को लेबल में बदलता है, और वह कट कहाँ है, यह डिज़ाइन का फ़ैसला है। इंसानी और AI टेक्स्ट के स्कोर वितरण एक-दूसरे पर चढ़ते हैं। सीमा को दाईं ओर ले जाएँ तो कम इंसान फ़्लैग होते हैं पर ज़्यादा AI छूटता है; बाईं ओर ले जाएँ तो उल्टा होता है।

• इंसानी लेखन
• AI-जनित टेक्स्ट

उदाहरण के लिए, किसी ख़ास डिटेक्टर का डेटा नहीं

विक्रेता खुलकर बताते हैं कि वे किस ओर झुकते हैं। Turnitin 1% से 19% के बीच के स्कोर छिपाता है और मानता है कि 50% स्कोर वाले दस्तावेज़ में उससे ज़्यादा AI हो सकता है। GPTZero एक आउटपुट मैपिंग बताता है जो डिटेक्टर को फ़ॉल्स पॉज़िटिव के बजाय फ़ॉल्स नेगेटिव की ओर झुकाती है, और कहता है कि भरोसा न होने पर वह आम तौर पर "इंसानी" की ओर झुकता है। Originality.ai अब अपनी AI Allowance सेटिंग के ज़रिए फ़ैसले का हिस्सा उपयोगकर्ता को सौंपता है, और Copyleaks बदली जा सकने वाली संवेदनशीलता देता है। दो टूल मूल संकेत पर सहमत होकर भी लेबल पर असहमत हो सकते हैं।

लंबाई और विभाजन निष्कर्ष बदल देते हैं

डिटेक्टरों को मापने के लिए पर्याप्त टेक्स्ट चाहिए। Turnitin 300 शब्दों से कम गद्य को स्कोर नहीं करेगा और कहता है कि छोटे दस्तावेज़ लगभग एक ही ब्लॉक के रूप में स्कोर होते हैं। Sapling कहता है कि उसका डिटेक्टर लगभग 50 शब्दों के बाद कहीं ज़्यादा सटीक हो जाता है। GPTZero बताता है कि उसका अनुमान टेक्स्ट के बड़े हिस्से के पैटर्न पर निर्भर कर सकता है, इसलिए कुछ हाइलाइट वाक्य संपादित करने से स्कोर आपकी उम्मीद से कम हिल सकता है।

यह वही वाक्य-बनाम-दस्तावेज़ वाली समस्या है जिसे हम वाक्य-स्तरीय AI डिटेक्शन में बताते हैं। जो टूल एक-दूसरे पर चढ़ती खिड़कियों को स्कोर करता है, जो पूरे दस्तावेज़ को, और जो वाक्य-दर-वाक्य, वे एक ही पैराग्राफ़ को अलग पढ़ सकते हैं।

We recruited 214 first-year nursing students across two campuses in spring 2024. The findings highlight the importance of resilience in shaping academic outcomes. Resilience scores rose most among students who had previously failed a clinical placement. These results contribute to a growing body of literature on student wellbeing.

उदाहरण के लिए। सामान्य ढाँचे वाले वाक्य AI की तरह स्कोर होते हैं; ठोस, डेटा वाले वाक्य इंसानी की तरह। दस्तावेज़-स्तरीय टूल इन्हें औसत करके एक निष्कर्ष बना सकता है।

अलग प्रशिक्षण डेटा, अलग अंधे कोने

हर क्लासिफ़ायर इंसानी और मशीनी टेक्स्ट के अपने मिश्रण से, और जेनरेटरों के एक ख़ास सेट से सीखता है। Turnitin उन मॉडलों की सूची प्रकाशित करता है जिन्हें पकड़ने के लिए उसका अंग्रेज़ी डिटेक्टर प्रशिक्षित है। Sapling का चेंजलॉग समय के साथ नए मॉडल परिवार जोड़ने का यही पैटर्न दिखाता है। जिस मॉडल से कोई पैराग्राफ़ बना या निखारा गया, उस पर एक विक्रेता ने प्रशिक्षण किया हो और दूसरे ने नहीं, तो दोनों उसे एक जैसा स्कोर नहीं देंगे। इस कवरेज को हम क्या Turnitin ChatGPT, Claude और Gemini पकड़ता है? में देखते हैं।

स्वतंत्र बेंचमार्क दिखाते हैं कि यह कितना मायने रखता है। RAID, यानी Dugan et al. का साझा बेंचमार्क जो ACL 2024 में प्रस्तुत हुआ, ने 12 डिटेक्टरों को 8 डोमेनों में 11 मॉडलों के 60 लाख से ज़्यादा जेनरेशन पर, 11 एडवर्सेरियल हमलों और 4 डिकोडिंग रणनीतियों के साथ परखा। लेखकों ने पाया कि डिटेक्टर हमलों, सैंपलिंग रणनीति में बदलाव, रिपीटिशन पेनल्टी और अनदेखे जेनरेटिव मॉडलों से आसानी से धोखा खा जाते थे।

International Journal for Educational Integrity के एक पुराने अध्ययन, Weber-Wulff et al. (2023), ने 14 टूल परखे और पाया कि उसकी स्कोरिंग में कोई 80% सटीकता तक नहीं पहुँचा, और टेक्स्ट को इंसानी वर्गीकृत करने की प्रवृत्ति थी। ऐसे नतीजे विक्रेताओं के 98% या 99% के आँकड़ों के साथ इसलिए खड़े हैं क्योंकि वे अलग टेस्ट सेट, अलग प्रकार के टेक्स्ट और सटीकता की अलग परिभाषाएँ इस्तेमाल करते हैं।

अपडेट चक्र लक्ष्य खिसकाते रहते हैं

डिटेक्टर अक्सर बदलते हैं। Turnitin ने अक्टूबर 2025 और फ़रवरी 2026 में मॉडल अपडेट जारी किए और जुलाई 2026 में अपना आर्किटेक्चर एकीकृत किया; पुरानी रिपोर्टें दोबारा नहीं गिनी जातीं, लेकिन दोबारा जमा की गई फ़ाइलें गिनी जाती हैं। Sapling का चेंजलॉग सितंबर 2026 का एक अपडेट दर्ज करता है। Originality.ai ने उसी महीने अपने classic मॉडल बंद किए। वसंत में आपने जो स्कोर देखा, वह उस उपकरण से अलग उपकरण की रीडिंग है जिसे आपका संपादक पतझड़ में इस्तेमाल करता है।

क्या GPTZero सटीक है? और ZeroGPT?

दोनों विक्रेता मज़बूत आँकड़े प्रकाशित करते हैं: GPTZero कहता है कि वह अपना false positive rate 1% से ज़्यादा नहीं होने देता, और ZeroGPT 98.4% डिटेक्शन सटीकता का दावा करता है। स्वतंत्र टेस्ट में नतीजे कम और ज़्यादा असमान मिले, हालाँकि नीचे के दोनों टेस्ट इन टूलों के मौजूदा वर्ज़न से पुराने हैं।

• Weber-Wulff और साथियों की 2023 की स्टडी में, सबसे सख़्त स्कोरिंग पर GPTZero ने 54 टेस्ट दस्तावेज़ों में से 54% सही पहचाने, ZeroGPT ने 59% और Turnitin ने 76%। झूठे आरोपों में भी GPTZero सबसे अलग रहा: 18 इंसानी दस्तावेज़ों में से आधे पर उसका आउटपुट संभवतः एक आरोप तक ले जाता। ZeroGPT ने कोई नहीं दिया।
• RAID बेंचमार्क (2024) में GPTZero 5% false positive rate पर 66.5% सटीकता तक पहुँचा और उस homoglyph हमले में मुश्किल से हिला जिसने ज़्यादातर दूसरे डिटेक्टरों को नुक़सान पहुँचाया। RAID के threshold टेस्ट में ZeroGPT का false positive rate 16.9% से नीचे नहीं लाया जा सका।

तो क्या GPTZero, Turnitin जितना सटीक है? यहाँ दोनों को परखने वाली इकलौती स्टडी ने 2023 की शुरुआत में Turnitin को आगे रखा, और तब से दोनों टूल अपडेट हो चुके हैं। किसी भी एक के स्कोर को एक रीडिंग मानें, फ़ैसला नहीं।

तो सबसे सटीक AI डिटेक्टर कौन-सा है?

ऐसा कोई एक जवाब नहीं जो टेक्स्ट के प्रकार, लंबाई, भाषा और जेनरेटर के पार टिके, और जो आपको एक जवाब देता है वह किसी टेस्ट सेट का हवाला दे रहा है। विक्रेताओं के सटीकता दावे उनके अपने मूल्यांकन से आते हैं। स्वतंत्र बेंचमार्क कम और ज़्यादा बदलते आँकड़े बताते हैं। ज़्यादा उपयोगी सवाल यह है कि आपके काम का मूल्यांकन करने वाले लोग असल में कौन-सा डिटेक्टर इस्तेमाल करते हैं, और आपका टेक्स्ट कई टूलों में कैसा व्यवहार करता है।

एक से ज़्यादा डिटेक्टर पर जाँचने का तर्क यही है:

• सहमति जानकारी देती है। अगर पाँच टूल किसी वाक्य को इंसानी पढ़ते हैं और एक उसे फ़्लैग करता है, तो फ़्लैग शायद शोर है। अगर छहों एक ही सामान्य संक्रमण वाक्य को फ़्लैग करते हैं, तो उसे अपने शब्दों में दोबारा लिखना उचित है।
• असहमति सीमा पर बैठे टेक्स्ट की ओर इशारा करती है। जो वाक्य टूलों के बीच पलटते रहते हैं, वे आम तौर पर साँचेदार होते हैं: घिसे-पिटे शुरुआती वाक्य, सार वाले वाक्य, मूल्यांकन वाले घिसे वाक्यांश। देखें औपचारिक गद्य AI-लिखित क्यों लग सकता है।
• कोई टूल अंतिम न्यायाधीश नहीं है। Turnitin, GPTZero और Sapling, तीनों कहते हैं कि उनका आउटपुट किसी व्यक्ति के बारे में फ़ैसले का अकेला आधार नहीं होना चाहिए।

Academic Humanizer से कई डिटेक्टरों पर जाँच

Academic Humanizer को ऊपर के छह डिटेक्टरों पर परखा गया है: Turnitin, GPTZero, ZeroGPT, Copyleaks, Sapling और Originality.ai। Humanizer आपके ड्राफ़्ट में वे वाक्य खोजता है जिन्हें डिटेक्टर फ़्लैग करते हैं, सिर्फ़ उन्हें दोबारा लिखता है और जो वाक्य पहले से इंसानी पढ़े जाते हैं उन्हें ठीक वैसे ही छोड़ता है जैसे आपने लिखे, और बिल्ट-इन AI Detection Report पहले और बाद में इंसानी पढ़े गए वाक्यों के हिस्से की तुलना करती है। यह गारंटी नहीं दे सकता कि कोई एक डिटेक्टर आपके टेक्स्ट के भविष्य के संस्करण को कैसे स्कोर करेगा, और ठीक इसीलिए रिपोर्ट अपना काम वाक्य-दर-वाक्य दिखाती है और अंतिम पाठ आप पर छोड़ती है।