AI Aşkarlayıcıları Əslində Necə İşləyir (və Sizi Niyə Qeyd Edir)

AI aşkarlayıcısının əslində nəyi ölçdüyü

AI aşkarlayıcısı cümləni kimin yazdığını bilmir. O, sənədinizi əvvəllər heç vaxt görməyib və onu ChatGPT nəticələrinin gizli bazası ilə yoxlaya bilməz. Bunun əvəzinə, o, mətninizin böyük dil modellərinin yaratmağa meylli olduğu nümunələrlə müqayisədə nə qədər proqnozlaşdırıla bilən olduğunu qiymətləndirir.

Müasir aşkarlayıcılar özləri milyonlarla insan və AI parçası üzərində öyrədilmiş maşın öyrənməsi modelləridir. Onlar generasiyanın geridə qoyduğu statistik izləri axtarır, sonra ehtimal çıxarır. Bu prosesdə heç nə müəllifliyi təsdiqləmir. Aşkarlayıcı brauzer tarixçənizi görə və ya sizin necə yazdığınızı izləyə bilməz; o, yalnız mətninizin öyrədildiyi maşın yazısına oxşadığını və ya oxşamadığını deyə bilər.

Onu spam filtri kimi düşünün. O, zibil poçtun adətən necə göründüyünü öyrənib, ona görə həmin xüsusiyyətləri paylaşan mesajları qeyd edir, lakin hər hansı bir e-poçt barədə heç vaxt əmin ola bilməz. AI aşkarlanması da eyni şəkildə işləyir ki, bu da hər balın rəqəm şəklinə salınmış bir güman olması deməkdir. Bu, həmçinin nəticəni necə oxumalı olduğunuzu dəyişir: "85% AI" mətninizin 85%-nin maşınla yazıldığı demək deyil. Bu, aşkarlayıcının bir təxmində kifayət qədər əmin olduğu deməkdir.

Perpleksiya: sözlərinizin nə qədər sürprizli olduğu

Perpleksiya ən vacib tək siqnaldır. O, dil modelinin seçdiyiniz hər sözdən nə qədər təəccübləndiyini ölçür. Hər növbəti söz modelin proqnozlaşdıracağı ilə tam eynidirsə, perpleksiya aşağıdır və mətn maşınla yazılmış kimi görünür. İnsanlar daha az proqnozlaşdırıla biləndir: biz qəribə bir sifətə üz tuturuq, qaydanı pozuruq və ya bir şeyi bir az yöndəmsiz şəkildə ifadə edirik və bu seçimlərin hər biri perpleksiyanı yuxarı qaldırır.

Konkret bir cüt bunu görünən edir. Birinci cümlə: "Müntəzəm idman vacibdir, çünki o, həm fiziki, həm də zehni sağlamlığı yaxşılaşdırır." İkinci cümlə: "İdmana davam edirəm, çünki dizlərim daha az narazılıq edir və gələnlər qutum sonradan daha az qorxunc hiss olunur." Hər ikisi qrammatik cəhətdən düzgündür və hər ikisi eyni əsas fikri ifadə edir, lakin birincisi tamamilə dil modelinin ən ehtimallı növbəti seçim kimi sıralayacağı sözlərdən qurulub; "müntəzəm idman vacibdir, çünki" praktiki olaraq şablondur. İkincisi kiçik risklər götürür: narazılıq edən dizlər, qorxudan gələnlər qutusu. Söz-söz ehtimalı qiymətləndirən model birinci cümləni sürprizsiz, ikincisini isə həqiqətən proqnozlaşdırmaq çətin tapır, ona görə birincisi AI kimi, ikincisi isə insan kimi oxunur.

Bu, həmçinin cilalanmış, ümumi yazının, hətta insan hər sözü yazdıqda belə, niyə qeyd olunduğunun səbəbidir. Perpleksiya səyi və ya dürüstlüyü deyil, yalnız proqnozlaşdırıla bilənliyi ölçür və bəzi mükəmməl insani yazı çox proqnozlaşdırıla biləndir.

Partlayışlılıq: əsl yazının ritmi

Partlayışlılıq cümlə strukturu və uzunluğundakı dəyişkənliyi ölçür. İnsanlar partlayışlarla yazır: uzun, dolanbac bir cümlədən sonra qısa bir cümlə. Üç söz. Sonra ehtimal ki lazım olduğundan daha uzun davam edən detalla dolu mürəkkəb bir cümlə hissəsi.

AI nəticəsi daha hamardır. Defolt parametrlərində buraxılanda model təxminən eyni uzunluqda dolanan, oxşar konstruksiyalarla başlayan və abzasdan-abzasa eyni düz ahənglə enən cümlələr yaradır. İkisini yan-yana qoyun və çox vaxt bir söz oxumadan fərqi görə bilərsiniz: insan mətni səhifədə pilləli görünür, maşın mətni isə kərpic hörgüsü kimi görünür.

Aşkarlayıcılar həmin pilləliliyi kəmiyyətlə ölçür. Aşağı partlayışlılıq üstəgəl aşağı perpleksiya klassik AI imzasıdır və hər ikisi mövcud olduqda aşkarlayıcı mövzu və qrammatika qüsursuz olsa belə, mətnin yaradıldığına əmin olur. Ancaq hər iki siqnal tək başına zəifdir. Şair vəhşi partlayışlılıqla yazır, müqavilə hüquqşünası isə demək olar ki, heç birisiz, və hər ikisi insandır, məhz buna görə ciddi alətlər həmişə ikisini birləşdirir.

Kapotun altında token ehtimalı

Dil modelləri hər dəfə bir token yazır və hər token ehtimal balı ilə gəlir. Aşkarlayıcılar bu ehtimalları təxmin edir və mətninizin modelin ehtimallı seçimlərinin "rahatlıq zonasında" oturub-oturmadığını yoxlayır. Parça demək olar ki, tamamilə düz ritmdə düzülmüş yüksək ehtimallı tokenlərdən qurulduqda, o, ChatGPT, Gemini və Claude-un defolt olaraq necə generasiya etdiyinə uyğun gəlir və aşkarlayıcı həmin nümunəni gördüyünüz faizə çevirir.

Bu, həmçinin qısa parçaların sınamaq üçün niyə etibarsız olduğunu izah edir. Yalnız bir və ya iki cümlə ilə diqqətli insanı modeldən ayırmaq üçün kifayət qədər siqnal yoxdur, ona görə ballar kəskin şəkildə tərəddüd edir. Əksər təchizatçılar sakitcə razılaşır: bir neçəsi bir neçə yüz sözdən aşağı hər hansı bir şeyi qiymətləndirməkdən imtina edir, çünki həmin uzunluqdan aşağıda riyaziyyat ölçmədən çox pul atmağa yaxındır.

Statistik aşkarlayıcılar təsnifatçı əsaslı aşkarlayıcılara qarşı

Aşkarlama alətləri iki ailəyə bölünür və hansı ilə üzləşdiyinizi bilmək bir çox qəribə nəticəni izah edir. Statistik aşkarlayıcılar ehtimalları birbaşa hesablamaq üçün istinad dil modelindən istifadə edir: onlar mətninizi model vasitəsilə işlədir, perpleksiya, partlayışlılıq və əlaqəli kəmiyyətləri ölçür, sonra hədd tətbiq edir. GLTR və DetectGPT kimi tədqiqat metodları bu şəkildə işləyir, bir çox pulsuz yoxlayıcının arxasındakı qiymətləndirmə də belədir. Onların gücü etiketlənmiş öyrətmə məlumatına ehtiyac duymamalarıdır; zəifliyi isə hökmün böyük ölçüdə hansı istinad modelinin qiymətləndirmə apardığından asılı olmasıdır.

Təsnifatçı əsaslı aşkarlayıcılar isə öyrədilir. Təchizatçı məlum insan və məlum AI mətninin böyük korpuslarını toplayır, sonra ikisini bir-birindən ayırmaq üçün modeli, çox vaxt RoBERTa üslublu transformeri dəqiq tənzimləyir. Turnitin, Originality.ai və Copyleaks bu şəkildə qurulub. Təsnifatçılar xam perpleksiyanın hüdudlarından kənarda incə işarələri tutur, ona görə onlar öyrətmə məlumatına oxşayan mətndə daha dəqiq olmağa meyllidir, lakin daha yeni modellərdən, digər dillərdən və ya heç vaxt görmədikləri sahələrdən olan yazıda zəifləyir və təchizatçıdan kənarda heç kim onların əslində nə öyrəndiyini yoxlaya bilməz.

Əksər kommersiya məhsulları indi hər iki yanaşmanın hibridləridir ki, bu da onların ballarının şərh edilməsinin çətin, alətlər arasında müqayisə edilməsinin isə daha da çətin olmasının bir səbəbidir.

ChatGPT, Gemini və Claude nəticəsinin niyə qeyd olunduğu

Qabaqcıl modellər aydın, təhlükəsiz və axıcı olmaq üçün öyrədilir və həmin öyrətmənin son mərhələsi əksər rəyçilərin yaxşı yazılmış kimi qiymətləndirdiyi cavabları mükafatlandırır. Bu, nəticəni balanslaşdırılmış cümlələrə, "üstəlik" və "nəticədə" kimi səliqəli keçidlərə və statistik orta yolda qalan lüğətə doğru itələyir.

Məhz həmin keyfiyyətlər aşkarlayıcıların ovladığıdır. Yazı nə qədər cilalı və "orta" olarsa, onun perpleksiyası və partlayışlılığı bir o qədər aşağı, AI balı isə bir o qədər yüksək olur. Kinayəli şəkildə, çap səhvləri və qəribəliklərlə dolu xam insan qaralamaları çox vaxt təmiz AI ilk qaralamasından daha asan keçir, çünki insan siqnalını daşıyan məhz qüsurlardır.

GPTZero, Turnitin, ZeroGPT və digərlərinin əslində nəyi yoxladığı

Əsas alətlər eyni əsas məntiqi paylaşır, lakin onu fərqli tənzimləyir. GPTZero perpleksiya və partlayışlılıq qiymətləndirməsini populyarlaşdırdı və hər ikisini cümlə səviyyəsində hesabat verir. Turnitin AI aşkarlanmanı məktəblər üçün öz plagiat komplektinə inteqrasiya edir, sənədləri üst-üstə düşən seqmentlərə bölür və təsnifatçısının model tərəfindən yazıldığına inandığı seqmentləri qeyd edir.

ZeroGPT sürətli, pulsuz cümlə-cümlə oxunuş təklif edir, Originality.ai isə naşirləri və SEO komandalarını ciddi, inam çəkili balla hədəfləyir. Copyleaks çoxdilli əhatəyə və müəssisə hesabatına diqqət yetirir. Onların hamısı ehtimal əsaslıdır, məhz buna görə heç biri dürüstcəsinə mükəmməl olduğunu iddia edə bilməz və hər təchizatçının dəqiqlik marketinqi sakitcə təchizatçının özünün hazırladığı testləri təsvir edir.

Aşkarlayıcıların bir-biri ilə niyə razılaşmadığı

Eyni essenin üç aşkarlayıcıya yapışdırın və birindən 2% AI, digərindən 45%, üçüncüsündən isə 88% ala bilərsiniz. Bu yayılma onlardan birində qüsur deyil; müxtəlif sistemlər eyni dəlildən müxtəlif təxminlər çıxaranda baş verən budur.

Hər alət öz korpusu üzərində öyrədilir, öz istinad modeli ilə qiymətləndirir, mətni fərqli parçalayır (bütün sənəd cümlə-cümləyə qarşı) və "ehtimal ki AI" kimi sayılan üçün öz həddini müəyyən edir. Yalan ittihamlardan qaçmaq üçün kalibrlənmiş alət konservativ işləyəcək və az qeyd edəcək; saxtakarları tutmaq üçün satılan alət aqressiv işləyəcək və eyni mətni həddindən artıq qeyd edəcək. Onlar həmçinin fərqli qrafiklərlə yenilənir, ona görə yeni model buraxılmazdan əvvəl tənzimlənmiş aşkarlayıcı həmin modelin üslubunu aylarla səhv qiymətləndirəcək.

Praktik dərs odur ki, heç bir tək bal qəti deyil və alətlər arasındakı fikir ayrılığı işin nə qədər gümana söykəndiyinin birbaşa sübutudur. Məktəbiniz Turnitin ilə yoxlayırsa, yalnız Turnitin-in hökmü əhəmiyyət kəsb edir və başqa yerdəki təmiz bal nə onu proqnozlaşdırır, nə də sizi ondan qoruyur.

Yalan müsbətlər: dərc edilmiş rəqəmlər

Aşkarlayıcılar proqnozlaşdırıla bilənliyi mühakimə etdiyi üçün onlar mütəmadi olaraq səhv edir və qaçırılanlar fərziyyə deyil. OpenAI-nin 2023-cü ilin yanvarında buraxılan öz təsnifatçısı AI ilə yazılmış mətnin yalnız 26%-ni müəyyən etdi, eyni zamanda insan mətninin 9%-ni AI kimi səhv etiketlədi və şirkət onu aşağı dəqiqliyə görə altı ay ərzində istismardan çıxardı. Turnitin sənəd səviyyəsində 1%-dən aşağı yalan müsbət nisbəti iddia edir, lakin ayrı-ayrı qeyd edilmiş cümlələrin çox daha az etibarlı olduğunu etiraf edib, məhz buna görə o, yalnız az miqdarda şübhəli AI mətni olan sənədlərdə balları verməkdən çəkinir.

Ən narahatedici tapıntı ana dili ingilis olmayan danışanları əhatə edir. Stanford tədqiqatçıları yeddi məşhur aşkarlayıcını TOEFL imtahanı üçün real tələbələrin yazdığı esselərdə sınaqdan keçirdilər və orta hesabla bu insan tərəfindən yazılmış esselərin 61%-nin AI tərəfindən yaradılmış kimi qeyd olunduğunu, demək olar ki, hamısının ən azı bir aşkarlayıcı tərəfindən qeyd olunduğunu tapdılar. Ana dili ingilis olan ABŞ tələbələrinin esseləri eyni alətlərdən demək olar ki, toxunulmadan keçdi.

Mexanizm məhz bu məqalənin təsvir etdiyidir: ikinci dildə işləyən yazıçılar daha təhlükəsiz lüğət və daha müntəzəm cümlə strukturlarından istifadə etməyə meyllidir ki, bu da perpleksiyanı aşağı salır, bu da maşın mətni kimi oxunur. Qərəz metodun özünə hopdurulub. Məhz buna görə məsuliyyətli məktəblər aşkarlayıcı balını sübut deyil, söhbətin başlanğıcı kimi qəbul edir. Rəqəm dəlil deyil.

Su nişanı: hələ tətbiq olunmayan həll

Tədqiqatçılar çoxdan iddia edir ki, əsl həll su nişanıdır: AI modelinin özünün generasiya zamanı görünməz statistik imza yerləşdirməsi. Ən məşhur sxemdə model yazarkən gizli şəkildə fırlanan token "yaşıl siyahısına" üstünlük verir. Oxucu nümunəni görə bilməz, lakin açarı olan aşkarlayıcı bunu perpleksiya güman etməkdən çox daha yaxşı dəqiqliklə yoxlaya bilər.

O, əsasən tətbiq olunmayıb. OpenAI daxildə uzun parçalarda təxminən 99,9% effektiv olduğu bildirilən mətn su nişanlayıcısı qurdu və onu buraxmadı, parafraz və ya tərcümənin nişanı sildiyi, AI-ni cilalama üçün qanuni istifadə edən ana dili qeyri-ingilis olanları damğaladığı və daha az nəcib şəkildə, istifadəçilərin sadəcə su nişanı qoymayan alətlərə keçəcəyi narahatlıqlarını göstərdi. Google-un SynthID-Text istisnadır, Gemini-nin içində işləyir və açıq mənbə kimi buraxılıb, lakin o, yalnız Gemini-nin öz nəticəsini nişanlayır.

Əsas problem budur: su nişanı yalnız istehsalçıları əməkdaşlıq edən modelləri əhatə edir və hər kəsin yerli olaraq işlədə biləcəyi açıq-çəkili modellər heç vaxt onu daşımayacaq. Beləliklə, məktəbinizin və ya işəgötürəninizin bu gün istifadə etdiyi aşkarlayıcı hələ də su nişanlarını oxumur, statistika edir, bunun nəzərdə tutduğu bütün qeyri-müəyyənliklə.

Aşkarlayıcılar qarışıq insan və AI mətnini necə idarə edir

Real sənədlər nadir hallarda tamamilə bir şeydir. Tələbə girişi əl ilə qaralayır, ChatGPT-dən iki mətn abzasını genişləndirməyi xahiş edir, sonra hamısını redaktə edir. Aşkarlayıcılar bununla sənəd boyu bir pəncərəni sürüşdürərək, hər cümləni və ya seqmenti ayrıca qiymətləndirərək və yaradılmış kimi görünən hissələri vurğulayaraq məşğul olur.

Qarışdırma hər siqnalı zəiflədir. AI abzasının içindəki insan redaktələri onun perpleksiyasını qaldırır; insan bölməsinin içindəki AI cümlələri onun ritmini vahidliyə doğru dartır. Nəticə orta diapazonlu baldır ki, bu da "yarı AI" və ya "tamamilə insan, qəribə yazılmış" demək ola bilər və cümlə üzrə vurğulamalar ümumi rəqəmdən nəzərəçarpacaq dərəcədə az etibarlıdır. Məsələn, Turnitin deyib ki, onun cümlə səviyyəsindəki qeydləri sənəd balından daha yüksək xəta nisbətinə malikdir və bir müddət o, ümumiyyətlə aşağı faizləri göstərməkdən imtina etdi, çünki onlar çox qeyri-sabit idi.

Qısacası: sənəd nə qədər qarışıq olarsa, hökm bir o qədər bulanıq olur və hesabatdakı vurğulanmış cümlələr başlıq faizindən daha çox skeptisizmə layiqdir.

Humanizasiya balı necə aşağı salır

Aşkarlayıcılar yüksək perpleksiya və partlayışlılığı mükafatlandırırsa, həll insan kimi daha çox yazmaqdır: cümlə uzunluğunu dəyişdirin, daha az proqnozlaşdırıla bilən söz seçimlərindən istifadə edin, təbii keçidlər əlavə edin və vahid ritmi pozun. Bunu tam sənəd boyu əl ilə etmək yavaşdır, məhz buna görə AI humanizatoru mətni yenidən yazmaq və həmin insani dəyişkənliyi avtomatik bərpa etmək üçün mövcuddur.

Humanize AI kimi bir alət model nəticəsini yenidən ifadə edir ki, o, təbii partlayışlılığı və daha az proqnozlaşdırıla bilən ifadə tərzini yenidən qazansın, mənanızı toxunulmaz saxlayaraq AI aşkarlanmasından yan keçmək üçün ona kömək etsin. Ən əsası, o, real aşkarlayıcılardan əvvəl-sonra balını göstərir, ona görə siz ümid etmək əvəzinə dəyişikliyi ölçürsünüz. Məqsəd aldatma deyil, nəhayət sizin kimi səslənən yazıdır.

Bunun sizin üçün praktikada nə demək olduğu

Bir neçə vərdiş birbaşa texnologiyanın necə işlədiyindən irəli gəlir. Təqdim etməzdən əvvəl sınaqdan keçirin, çünki yoxlama pulsuz olduqda balı güman etmək mənasızdır; qaralamanızı pulsuz AI humanizatorundan keçirə və aşkarlayıcı rəqəmlərini başqasından əvvəl görə bilərsiniz. Qısa parça haqqında hökmə heç vaxt inanmayın və cümlə səviyyəsindəki vurğulamaları ən yaxşı halda zəif dəlil kimi qəbul edin.

Dürüstcəsinə yazırsınızsa, qəbzlərinizi saxlayın: qaralama versiyaları, qeydlər və redaktə tarixçəsi hər hansı əks-baldan çox daha yaxşı müəlliflik sübutudur, xüsusilə də aşkarlayıcıların etibar etmədiyi rəsmi registrdə yazan ana dili qeyri-ingilis olansınızsa. Və konkret yoxlayıcı ilə üzləşirsinizsə, onun konkret davranışını öyrənin; xüsusilə Turnitin-in bilməyə dəyər qəribəlikləri var, məhz buna görə biz Turnitin bələdçisini bunun yoldaşı kimi yazdıq.

Hər şeydən əvvəl, aşkarlayıcının nə olduğunu xatırlayın. O, təchizatçı tərəfindən qurulmuş, hədde tənzimlənmiş və hər iki istiqamətdə ölçülə bilən dərəcədə səhv olan, proqnozlaşdırıla bilənliyi qiymətləndirən nümunə uyğunlaşdırıcısıdır. Bəzən faydalı. Heç vaxt sübut deyil.

Tez-tez verilən suallar