AI डिटेक्टर असल में कैसे काम करते हैं (और आपको क्यों फ़्लैग करते हैं)

AI डिटेक्टर असल में क्या मापता है

एक AI डिटेक्टर यह नहीं जानता कि कोई वाक्य किसने लिखा। उसने आपका दस्तावेज़ पहले कभी नहीं देखा, और वह उसे ChatGPT आउटपुट के किसी छिपे डेटाबेस से मिला भी नहीं सकता। इसके बजाय, वह यह स्कोर करता है कि आपका टेक्स्ट उन पैटर्न की तुलना में कितना प्रेडिक्टेबल है जो लार्ज लैंग्वेज मॉडल आमतौर पर पैदा करते हैं।

आधुनिक डिटेक्टर खुद भी मशीन-लर्निंग मॉडल हैं, जिन्हें लाखों इंसानी और AI पैसेज पर ट्रेन किया गया है। वे जनरेशन के पीछे छूटे सांख्यिकीय फ़िंगरप्रिंट ढूंढते हैं और फिर एक प्रोबेबिलिटी निकालते हैं। इस पूरी प्रक्रिया में कुछ भी लेखक की पहचान सत्यापित नहीं करता। डिटेक्टर आपकी ब्राउज़र हिस्ट्री नहीं देख सकता, न आपको टाइप करते देख सकता है; वह बस इतना कह सकता है कि आपका टेक्स्ट उस मशीन लेखन से मिलता है या नहीं जिस पर उसे ट्रेन किया गया था।

इसे स्पैम फ़िल्टर की तरह समझिए। उसने सीख लिया है कि जंक मेल आमतौर पर कैसा दिखता है, इसलिए वह उन लक्षणों वाले संदेश फ़्लैग करता है, लेकिन किसी एक ईमेल के बारे में वह कभी निश्चित नहीं हो सकता। AI डिटेक्शन भी इसी तरह काम करता है, यानी हर स्कोर दरअसल एक अंदाज़ा है जिसे संख्या की पोशाक पहना दी गई है। इससे नतीजे को पढ़ने का तरीका भी बदल जाता है: "85% AI" का मतलब यह नहीं कि आपके टेक्स्ट का 85% हिस्सा मशीन ने लिखा है। इसका मतलब है कि डिटेक्टर अपने एक अनुमान को लेकर काफ़ी आश्वस्त है।

परप्लेक्सिटी: आपके शब्द कितने चौंकाने वाले हैं

परप्लेक्सिटी सबसे अहम सिग्नल है। यह मापती है कि आपके चुने हर शब्द से लैंग्वेज मॉडल कितना हैरान होता है। अगर हर अगला शब्द ठीक वही है जो मॉडल ने खुद चुना होता, तो परप्लेक्सिटी कम रहती है और टेक्स्ट मशीन-लिखित लगता है। इंसान कम प्रेडिक्टेबल होते हैं: हम कोई अनोखा विशेषण उठा लेते हैं, कोई नियम तोड़ देते हैं, या बात को थोड़े अटपटे ढंग से कह देते हैं, और इनमें से हर चुनाव परप्लेक्सिटी को ऊपर धकेलता है।

एक ठोस जोड़ी से यह साफ़ दिखता है। पहला वाक्य: "नियमित व्यायाम महत्वपूर्ण है क्योंकि यह शारीरिक और मानसिक स्वास्थ्य दोनों को बेहतर बनाता है।" दूसरा वाक्य: "मैं इसलिए एक्सरसाइज़ करता रहता हूं क्योंकि उसके बाद मेरे घुटने कम शिकायत करते हैं और मेरा इनबॉक्स कम डरावना लगता है।" दोनों व्याकरण की दृष्टि से सही हैं और दोनों एक ही मूल बात कहते हैं, लेकिन पहला पूरी तरह उन शब्दों से बना है जिन्हें लैंग्वेज मॉडल सबसे संभावित अगला विकल्प मानेगा; "नियमित व्यायाम महत्वपूर्ण है क्योंकि" तो लगभग एक टेम्पलेट है। दूसरा छोटे-छोटे जोखिम लेता है: शिकायत करते घुटने, डराता हुआ इनबॉक्स। शब्द-दर-शब्द प्रोबेबिलिटी स्कोर करने वाले मॉडल को पहला वाक्य बिल्कुल अनुमानित लगता है और दूसरा वाकई मुश्किल, इसलिए पहला AI जैसा पढ़ा जाता है और दूसरा इंसानी।

यही वजह है कि चमकाया हुआ, जेनेरिक लेखन तब भी फ़्लैग हो जाता है जब हर शब्द किसी इंसान ने लिखा हो। परप्लेक्सिटी मेहनत या ईमानदारी नहीं मापती, सिर्फ़ प्रेडिक्टेबिलिटी मापती है, और कुछ बिल्कुल इंसानी लेखन भी बेहद प्रेडिक्टेबल होता है।

बर्स्टीनेस: असली लेखन की लय

बर्स्टीनेस वाक्य संरचना और लंबाई में विविधता को मापती है। लोग झोंकों में लिखते हैं: एक लंबा, घुमावदार वाक्य और उसके बाद एक छोटा। तीन शब्द। फिर विवरण से ठसाठस भरा एक जटिल उपवाक्य जो शायद जितना चलना चाहिए उससे ज़्यादा लंबा खिंच जाता है।

AI आउटपुट ज़्यादा चिकना होता है। डिफ़ॉल्ट सेटिंग पर छोड़ दें तो मॉडल ऐसे वाक्य बनाता है जो लगभग एक ही लंबाई के आसपास मंडराते हैं, मिलती-जुलती बनावटों से शुरू होते हैं, और पैराग्राफ़-दर-पैराग्राफ़ एक ही समान ताल पर खत्म होते हैं। दोनों को अगल-बगल रखिए और अक्सर एक शब्द पढ़े बिना ही फ़र्क़ दिख जाता है: इंसानी टेक्स्ट पन्ने पर ऊबड़-खाबड़ दिखता है, मशीनी टेक्स्ट ईंटों की चिनाई जैसा।

डिटेक्टर उसी ऊबड़-खाबड़पन को संख्या में बदलते हैं। कम बर्स्टीनेस और कम परप्लेक्सिटी का मेल क्लासिक AI हस्ताक्षर है, और दोनों मौजूद हों तो डिटेक्टर को यक़ीन हो जाता है कि टेक्स्ट जनरेट किया गया है, भले ही विषय और व्याकरण बेदाग़ हों। हालांकि अकेला कोई भी सिग्नल कमज़ोर है। कवि बेतहाशा बर्स्टीनेस के साथ लिखता है और कॉन्ट्रैक्ट वकील लगभग शून्य के साथ, और दोनों इंसान हैं, इसीलिए गंभीर टूल हमेशा दोनों को मिलाकर देखते हैं।

पर्दे के पीछे: टोकन प्रोबेबिलिटी

लैंग्वेज मॉडल एक बार में एक टोकन लिखते हैं, और हर टोकन के साथ एक प्रोबेबिलिटी स्कोर आता है। डिटेक्टर इन प्रोबेबिलिटी का अनुमान लगाते हैं और जांचते हैं कि आपका टेक्स्ट मॉडल के संभावित विकल्पों के "कम्फ़र्ट ज़ोन" के भीतर बैठता है या नहीं। जब कोई पैसेज लगभग पूरी तरह हाई-प्रोबेबिलिटी टोकन से बना हो और एकसमान लय में सजा हो, तो वह ChatGPT, Gemini और Claude के डिफ़ॉल्ट जनरेशन के तरीक़े से मेल खाता है, और डिटेक्टर उसी पैटर्न को उस प्रतिशत में बदल देता है जो आपको दिखता है।

इसी से यह भी समझ आता है कि छोटे टुकड़ों की जांच भरोसेमंद क्यों नहीं होती। सिर्फ़ एक-दो वाक्यों में इतना सिग्नल ही नहीं होता कि सावधान इंसान और मॉडल में फ़र्क़ किया जा सके, इसलिए स्कोर बेतहाशा झूलते हैं। ज़्यादातर वेंडर चुपचाप इस बात से सहमत हैं: कई तो कुछ सौ शब्दों से छोटे किसी भी टेक्स्ट को स्कोर करने से मना कर देते हैं, क्योंकि उस लंबाई से नीचे गणित माप से ज़्यादा सिक्का उछालने जैसा है।

सांख्यिकीय डिटेक्टर बनाम क्लासिफ़ायर-आधारित डिटेक्टर

डिटेक्शन टूल दो परिवारों में बंटते हैं, और यह जानना कि आपका सामना किससे है, कई अजीब नतीजों की व्याख्या कर देता है। सांख्यिकीय डिटेक्टर एक रेफ़रेंस लैंग्वेज मॉडल से सीधे प्रोबेबिलिटी निकालते हैं: वे आपका टेक्स्ट मॉडल से गुज़ारते हैं, परप्लेक्सिटी, बर्स्टीनेस और उनसे जुड़ी मात्राएं मापते हैं, फिर एक थ्रेशोल्ड लागू करते हैं। GLTR और DetectGPT जैसी रिसर्च विधियां इसी तरह काम करती हैं, और कई मुफ़्त चेकर्स के पीछे की स्कोरिंग भी। इनकी ताक़त यह है कि इन्हें लेबल किए हुए ट्रेनिंग डेटा की ज़रूरत नहीं; कमज़ोरी यह कि फ़ैसला काफ़ी हद तक इस पर टिका होता है कि स्कोरिंग कौन सा रेफ़रेंस मॉडल कर रहा है।

क्लासिफ़ायर-आधारित डिटेक्टर इसके बजाय ट्रेन किए जाते हैं। वेंडर पुष्ट इंसानी और पुष्ट AI टेक्स्ट के बड़े संग्रह जुटाता है, फिर एक मॉडल को, अक्सर RoBERTa-शैली के ट्रांसफ़ॉर्मर को, दोनों में फ़र्क़ करना सिखाता है। Turnitin, Originality.ai और Copyleaks इसी तरह बने हैं। क्लासिफ़ायर कच्ची परप्लेक्सिटी से आगे के सूक्ष्म संकेत भी पकड़ लेते हैं, इसलिए अपने ट्रेनिंग डेटा से मिलते-जुलते टेक्स्ट पर वे ज़्यादा सटीक होते हैं, लेकिन नए मॉडलों के लेखन, दूसरी भाषाओं, या अनदेखे क्षेत्रों पर उनकी सटीकता गिर जाती है, और वेंडर के बाहर कोई नहीं जांच सकता कि उन्होंने असल में क्या सीखा।

ज़्यादातर व्यावसायिक प्रोडक्ट अब दोनों तरीकों के हाइब्रिड हैं, और यही एक वजह है कि उनके स्कोर समझना मुश्किल और टूल-दर-टूल तुलना करना उससे भी मुश्किल है।

ChatGPT, Gemini और Claude का आउटपुट क्यों फ़्लैग होता है

फ़्रंटियर मॉडलों को स्पष्ट, सुरक्षित और धाराप्रवाह होने की ट्रेनिंग दी जाती है, और उस ट्रेनिंग का आखिरी दौर उन जवाबों को इनाम देता है जिन्हें ज़्यादातर समीक्षक अच्छा-लिखा मानते हैं। इससे आउटपुट संतुलित वाक्यों, "इसके अलावा" और "निष्कर्ष में" जैसे सलीक़ेदार ट्रांज़िशन, और सांख्यिकीय रूप से बीच की सड़क पर चलने वाली शब्दावली की ओर धकेला जाता है।

ठीक यही गुण डिटेक्टरों के शिकार हैं। लेखन जितना चमकाया हुआ और "औसत" होगा, उसकी परप्लेक्सिटी और बर्स्टीनेस उतनी कम, और AI स्कोर उतना ऊंचा। विडंबना यह है कि टाइपो और अटपटेपन से भरे कच्चे इंसानी ड्राफ्ट अक्सर साफ़-सुथरे AI फ़र्स्ट ड्राफ्ट से ज़्यादा आसानी से पास हो जाते हैं, क्योंकि वही खामियां इंसानी सिग्नल ढोती हैं।

GPTZero, Turnitin, ZeroGPT और बाक़ी असल में क्या जांचते हैं

प्रमुख टूल एक ही मूल तर्क साझा करते हैं, बस उसे अलग-अलग ट्यून करते हैं। GPTZero ने परप्लेक्सिटी और बर्स्टीनेस स्कोरिंग को लोकप्रिय बनाया और दोनों को वाक्य स्तर पर रिपोर्ट करता है। Turnitin AI स्कूलों के लिए डिटेक्शन को अपने प्लेजरिज़्म सूट में जोड़ता है, दस्तावेज़ों को ओवरलैप करते खंडों में तोड़ता है और उन हिस्सों को फ़्लैग करता है जिन्हें उसका क्लासिफ़ायर मॉडल-लिखित मानता है।

ZeroGPT तेज़, मुफ़्त प्रति-वाक्य रीडआउट देता है, जबकि Originality.ai प्रकाशकों और SEO टीमों के लिए सख़्त, कॉन्फ़िडेंस-वेटेड स्कोर पर केंद्रित है। Copyleaks बहुभाषी कवरेज और एंटरप्राइज़ रिपोर्टिंग पर ज़ोर देता है। ये सभी प्रोबेबिलिस्टिक हैं, इसीलिए कोई भी ईमानदारी से परफ़ेक्ट होने का दावा नहीं कर सकता, और इसीलिए हर वेंडर की एक्युरेसी मार्केटिंग चुपचाप उन्हीं टेस्टों का बखान करती है जो वेंडर ने खुद डिज़ाइन किए।

डिटेक्टर आपस में असहमत क्यों होते हैं

एक ही निबंध तीन डिटेक्टरों में डालिए और आपको एक से 2% AI, दूसरे से 45% और तीसरे से 88% मिल सकता है। यह फैलाव किसी एक टूल का बग नहीं है; यही होता है जब अलग-अलग सिस्टम एक ही सबूत से अलग-अलग अंदाज़े लगाते हैं।

हर टूल अपने कॉर्पस पर ट्रेन होता है, अपने रेफ़रेंस मॉडल से स्कोर करता है, टेक्स्ट को अलग तरह से बांटता है (पूरा दस्तावेज़ बनाम वाक्य-दर-वाक्य), और "संभवतः AI" की अपनी थ्रेशोल्ड तय करता है। झूठे आरोपों से बचने के लिए कैलिब्रेट किया टूल रूढ़िवादी चलेगा और कम फ़्लैग करेगा; नक़लचियों को पकड़ने के दावे पर बिकने वाला टूल आक्रामक चलेगा और उसी टेक्स्ट को ज़्यादा फ़्लैग करेगा। इनके अपडेट का शेड्यूल भी अलग है, इसलिए नए मॉडल के लॉन्च से पहले ट्यून हुआ डिटेक्टर महीनों तक उस मॉडल की शैली को ग़लत आंकेगा।

व्यावहारिक सबक़ यह है कि कोई भी अकेला स्कोर निर्णायक नहीं है, और टूलों के बीच असहमति इस बात का सीधा सबूत है कि इसमें कितना अनुमान शामिल है। अगर आपका स्कूल Turnitin से जांच करता है, तो सिर्फ़ Turnitin का फ़ैसला मायने रखता है, और कहीं और मिला साफ़ स्कोर न उसकी भविष्यवाणी करता है न आपको उससे बचाता है।

फ़ॉल्स पॉज़िटिव: प्रकाशित आंकड़े

चूंकि डिटेक्टर प्रेडिक्टेबिलिटी को परखते हैं, वे नियमित रूप से चूकते हैं, और ये चूकें काल्पनिक नहीं हैं। OpenAI का अपना क्लासिफ़ायर, जो जनवरी 2023 में लॉन्च हुआ, AI-लिखित टेक्स्ट का सिर्फ़ 26% पहचान पाया जबकि 9% इंसानी टेक्स्ट को AI बता दिया, और कंपनी ने कम सटीकता के चलते उसे छह महीने के भीतर बंद कर दिया। Turnitin दस्तावेज़ स्तर पर 1% से कम फ़ॉल्स पॉज़िटिव दर का दावा करता है, लेकिन उसने माना है कि फ़्लैग हुए अलग-अलग वाक्य कहीं कम भरोसेमंद हैं, इसीलिए वह उन दस्तावेज़ों पर स्कोर रोक लेता है जिनमें संदिग्ध AI टेक्स्ट की मात्रा बहुत कम हो।

सबसे परेशान करने वाली खोज गैर-देशी अंग्रेज़ी लेखकों से जुड़ी है। Stanford के शोधकर्ताओं ने असली छात्रों के TOEFL परीक्षा के लिए लिखे निबंधों पर सात लोकप्रिय डिटेक्टरों को परखा और पाया कि औसतन इन इंसानी निबंधों का 61% AI-जनरेटेड बताकर फ़्लैग हुआ, और लगभग सभी निबंधों को कम से कम एक डिटेक्टर ने फ़्लैग किया। अमेरिकी देशी-भाषी छात्रों के निबंध उन्हीं टूलों से लगभग बेदाग़ निकल गए।

तंत्र वही है जो यह लेख बताता है: दूसरी भाषा में लिखने वाले लेखक सुरक्षित शब्दावली और ज़्यादा नियमित वाक्य संरचनाएं अपनाते हैं, जिससे परप्लेक्सिटी गिरती है, जो मशीनी टेक्स्ट की तरह पढ़ी जाती है। यह पूर्वाग्रह विधि में ही पका हुआ है। इसीलिए ज़िम्मेदार स्कूल डिटेक्टर स्कोर को बातचीत की शुरुआत मानते हैं, सबूत नहीं। एक संख्या सबूत नहीं होती।

वॉटरमार्किंग: वह समाधान जो अब तक आया नहीं

शोधकर्ता लंबे समय से कहते आए हैं कि असली समाधान वॉटरमार्किंग है: AI मॉडल खुद जनरेशन के समय एक अदृश्य सांख्यिकीय हस्ताक्षर जोड़ दे। सबसे जानी-मानी योजना में मॉडल लिखते समय चुपचाप टोकनों की एक घूमती "ग्रीन लिस्ट" को तरजीह देता है। पाठक को पैटर्न नज़र नहीं आता, लेकिन कुंजी रखने वाला डिटेक्टर उसे परप्लेक्सिटी के अंदाज़ों से कहीं बेहतर सटीकता से परख सकता है।

यह ज़्यादातर आया ही नहीं। OpenAI ने एक टेक्स्ट वॉटरमार्कर बनाया जिसके बारे में अंदरूनी तौर पर लंबे पैसेज पर लगभग 99.9% कारगर होने की बात कही गई, और उसे दबाकर बैठ गया; चिंताएं ये थीं कि पैराफ़्रेज़िंग या अनुवाद निशान मिटा देता है, कि यह उन गैर-देशी लेखकों को कलंकित कर सकता है जो जायज़ तौर पर AI से भाषा चमकाते हैं, और, कम नेक वजह यह कि यूज़र बस उन टूलों पर चले जाएंगे जो वॉटरमार्क नहीं लगाते। Google का SynthID-Text अपवाद है, जो Gemini के भीतर चलता है और ओपन सोर्स के रूप में जारी हुआ है, लेकिन वह सिर्फ़ Gemini के अपने आउटपुट पर निशान लगाता है।

यही मूल समस्या है: वॉटरमार्क सिर्फ़ उन्हीं मॉडलों को कवर करता है जिनके निर्माता सहयोग करें, और ओपन-वेट मॉडल, जिन्हें कोई भी लोकली चला सकता है, उसे कभी नहीं ढोएंगे। तो आपका स्कूल या नियोक्ता आज जो डिटेक्टर इस्तेमाल करता है, वह अब भी सांख्यिकी कर रहा है, वॉटरमार्क नहीं पढ़ रहा, और उसके साथ वह सारी अनिश्चितता जुड़ी है जो इसका मतलब है।

मिले-जुले इंसानी और AI टेक्स्ट को डिटेक्टर कैसे संभालते हैं

असली दस्तावेज़ शायद ही कभी पूरी तरह एक जैसे होते हैं। छात्र इंट्रो हाथ से लिखता है, दो बॉडी पैराग्राफ़ ChatGPT से बढ़वाता है, फिर पूरे को एडिट करता है। डिटेक्टर इससे निपटने के लिए दस्तावेज़ पर एक खिसकती विंडो चलाते हैं, हर वाक्य या खंड को अलग स्कोर करते हैं, और जनरेटेड दिखने वाले हिस्सों को हाइलाइट करते हैं।

मिलावट हर सिग्नल को कमज़ोर करती है। AI पैराग्राफ़ के भीतर इंसानी संपादन उसकी परप्लेक्सिटी बढ़ा देते हैं; इंसानी खंड के भीतर AI वाक्य उसकी लय को एकरूपता की ओर खींचते हैं। नतीजा एक बीच का स्कोर होता है जिसका मतलब "आधा AI" भी हो सकता है और "पूरा इंसानी, बस अजीब ढंग से लिखा" भी, और प्रति-वाक्य हाइलाइट कुल संख्या से भी कम भरोसेमंद होते हैं। मसलन Turnitin कह चुका है कि उसके वाक्य-स्तर के फ़्लैग उसके दस्तावेज़ स्कोर से ज़्यादा त्रुटि दर रखते हैं, और एक समय तो उसने कम प्रतिशत दिखाने से ही मना कर दिया था क्योंकि वे इतने डगमग थे।

संक्षेप में: दस्तावेज़ जितना घुला-मिला, फ़ैसला उतना धुंधला, और रिपोर्ट में हाइलाइट हुए वाक्य हेडलाइन प्रतिशत से भी ज़्यादा संदेह के हक़दार हैं।

ह्यूमनाइज़ करने से स्कोर कैसे गिरता है

अगर डिटेक्टर ऊंची परप्लेक्सिटी और बर्स्टीनेस को इनाम देते हैं, तो इलाज है ज़्यादा इंसान की तरह लिखना: वाक्य की लंबाई बदलिए, कम प्रेडिक्टेबल शब्द चुनिए, स्वाभाविक ट्रांज़िशन जोड़िए, और एकसमान लय को तोड़िए। पूरे दस्तावेज़ में यह हाथ से करना धीमा है, इसीलिए AI ह्यूमनाइज़र मौजूद है, जो टेक्स्ट को दोबारा लिखकर वह इंसानी विविधता अपने आप लौटा देता है।

Humanize AI जैसा टूल मॉडल के आउटपुट को इस तरह दोबारा लिखता है कि उसमें स्वाभाविक बर्स्टीनेस और कम प्रेडिक्टेबल वाक्यांश वापस आ जाएं, जिससे वह आपका अर्थ बरकरार रखते हुए AI डिटेक्शन को बायपास करने में मदद करता है। सबसे अहम बात, वह असली डिटेक्टरों से पहले-और-बाद का स्कोर दिखाता है, यानी आप उम्मीद नहीं, बदलाव माप रहे हैं। मक़सद धोखा नहीं, बल्कि ऐसा लेखन है जो आखिरकार आपके जैसा सुनाई दे।

व्यवहार में आपके लिए इसका मतलब

तकनीक के काम करने के तरीक़े से कुछ आदतें सीधे निकलती हैं। सबमिट करने से पहले टेस्ट कीजिए, क्योंकि जब जांच मुफ़्त है तो स्कोर का अंदाज़ा लगाना बेकार है; आप अपना ड्राफ्ट मुफ़्त AI ह्यूमनाइज़र से गुज़ार सकते हैं और डिटेक्टर के आंकड़े किसी और से पहले खुद देख सकते हैं। छोटे पैसेज पर आए फ़ैसले पर कभी भरोसा मत कीजिए, और वाक्य-स्तर के हाइलाइट्स को बहुत कमज़ोर सबूत मानिए।

अगर आप ईमानदारी से लिखते हैं, तो अपने सबूत संभालकर रखिए: ड्राफ्ट के संस्करण, नोट्स और एडिटिंग हिस्ट्री किसी भी काउंटर-स्कोर से कहीं बेहतर लेखकत्व का प्रमाण हैं, खासकर अगर आप गैर-देशी लेखक हैं और उस औपचारिक रजिस्टर में लिखते हैं जिस पर डिटेक्टर शक करते हैं। और अगर आपका सामना किसी खास चेकर से है, तो उसके खास बर्ताव को जानिए; Turnitin में खासतौर पर जानने लायक़ अजीबियां हैं, इसीलिए हमने इस लेख के साथी के तौर पर Turnitin गाइड लिखी है।

सबसे बढ़कर, याद रखिए कि डिटेक्टर है क्या। वह प्रेडिक्टेबिलिटी स्कोर करने वाला एक पैटर्न-मैचर है, जिसे एक वेंडर ने बनाया, एक थ्रेशोल्ड पर ट्यून किया, और जो दोनों दिशाओं में मापने लायक़ दर से ग़लत होता है। उपयोगी, कभी-कभी। सबूत, कभी नहीं।

अक्सर पूछे जाने वाले सवाल