Turnitin ChatGPT-ni Aşkarlayırmı? Dürüst Cavab

Birbaşa cavab: bəli, vacib qeydlərlə

Turnitin 2023-cü ilin aprelindən bəri oxşarlıq hesabatlarına AI yazı göstəricisi daxil edib və o, xüsusilə ChatGPT kimi böyük dil modellərindən mətni aşkar etmək üçün qurulub. ChatGPT cavabını birbaşa esseyə yapışdırıb təqdim etsəniz, Turnitin-in onun çoxunu qeyd etməsi ehtimalı çox yüksəkdir. Bu hissə həll olunub.

Qeydlər də eyni dərəcədə əhəmiyyət kəsb edir. Göstərici sübut deyil, statistik təxmindir. O, yalnız minimum tələblərə cavab verən təqdimatlarda işləyir, hazırda ən azı 300 söz nəsr. O, qarışıq insan-və-AI sənədlərində daha az etibarlıdır, cümlə səviyyəsində sənədləşdirilmiş yalan müsbət problemi var və Turnitin-in özü müəllimlərə balın heç vaxt akademik pozuntu qərarının yeganə əsası olmamalı olduğunu deyir. Beləliklə, Turnitin AI-ni aşkarlaya bilərmi? Bəli. Ondan istifadə etdiyinizi sübut edə bilərmi? Xeyr, və bu boşluq hər real işin həll olunduğu yerdir.

Turnitin-in AI yazı göstəricisi necə işləyir

Turnitin essenizi ChatGPT nəticələrinin bazası ilə müqayisə etmir. Bunun əvəzinə, o, sənədinizi bir neçə yüz sözlük üst-üstə düşən seqmentlərə bölür, sonra hər cümləni onun statistik cəhətdən nə qədər proqnozlaşdırıla bilən olduğuna görə qiymətləndirir. Dil modelləri təkrar-təkrar ən ehtimallı növbəti sözü seçməklə yazır ki, bu da qeyri-adi hamar, düz, az sürprizli mətn yaradır. İnsan yazısı daha dağınıqdır: cümlə uzunluqları dəyişir, söz seçimləri bəzən qəribədir və ritm qalxıb-enir.

Bunun çoxunu idarə edən iki siqnal perpleksiya, yəni söz seçimlərinizin nə qədər proqnozlaşdırıla bilən olduğu, və partlayışlılıq, yəni cümlə strukturunuzun nə qədər dəyişdiyidir. Parça davamlı olaraq hamar və davamlı olaraq düzdürsə, model onun cümlələrini ehtimal ki AI kimi işarələyir. Mexanikanı AI aşkarlayıcılarının necə işlədiyi bələdçimizdə daha ətraflı əhatə edirik, lakin əsas məqam sadədir: Turnitin hər hansı konkret çatbotun məzmununu deyil, maşın yazısının statistik izini aşkarlayır.

Faiz balı əslində nə deməkdir

Müəllimlərin gördüyü rəqəm sənədinizdəki modelin AI tərəfindən yaradıldığına inandığı uyğun cümlələrin faizidir. 40% bal Turnitin-in saxtakarlıq etdiyinizə 40% əmin olduğu demək deyil. Bu, nəsr cümlələrinizin təxminən 40%-nin modelə maşınla yazılmış kimi göründüyü deməkdir. Bunlar çox fərqli iddialardır və onları qarışdırmaq pozuntu iclaslarında ən çox yayılmış səhvdir.

İki detalı bilməyə dəyər. Birincisi, Turnitin 1% ilə 19% arasındakı balları ulduz işarəsi ilə göstərir, çünki öz araşdırması aşağı balların yalan müsbətlər ehtiva etmə ehtimalının daha yüksək olduğunu tapıb və bəzi qurumlar hesabatları bu diapazonu tamamilə gizlətmək üçün konfiqurasiya edir. İkincisi, göstərici uyğun gəlməyən mətni, məsələn, işarələnmiş siyahıları, kodu, cədvəlləri və çox qısa cümlələri nəzərə almır, ona görə faiz sənədinizin yalnız bir hissəsini təsvir edir.

Turnitin-in AI aşkarlanması nə qədər dəqiqdir?

Turnitin-in dərc edilmiş iddiası odur ki, göstərici AI yazısını təxminən 98% dəqiqliklə müəyyən edir, eyni zamanda mətnin 20%-dən çoxunun AI tərəfindən yaradıldığı işlərdə sənəd səviyyəsində yalan müsbət nisbətini 1%-dən aşağı saxlayır. Bu rəqəmlər Turnitin-in öz laboratoriya sınağından gəlir və onlar konkret ssenarini təsvir edir: ingilis nəsrində əsasən redaktə edilməmiş AI mətni.

Müstəqil araşdırma daha az xoşagələn olub. Buraxılışdan qısa müddət sonra Turnitin cümlə səviyyəsində yalan müsbətlərin gözləniləndən yüksək, insan və AI yazısının qarışığı olan sənədlərdə 4%-ə yaxın olduğunu etiraf etdi. 2023-cü ildə aləti sınaqdan keçirən jurnalistlər onun hibrid esselərdə büdrədiyini, AI parçalarını ötürdüyünü və insan parçalarını qeyd etdiyini tapdılar. Və 2023-cü ilin avqustunda Vanderbilt University funksiyanı ictimai şəkildə söndürdü, yalan müsbət riskinin hərəkət etmək üçün çox yüksək olduğunu iddia etdi. Turnitin AI aşkarlanması dəqiqliyinin ədalətli xülasəsi: təmiz, redaktə edilməmiş ChatGPT nəticəsində güclü, aradakı hər şeydə isə əhəmiyyətli dərəcədə zəif.

Müəlliminizin əslində nə gördüyü

Tələbələr adətən AI balını ümumiyyətlə görə bilmir. Göstərici oxşarlıq hesabatının müəllim görünüşündə plagiat balından ayrı kiçik faiz nişanı kimi görünür. Onun üzərinə klikləmək qeyd edilmiş cümlələrin vurğulandığı hesabatı açır, AI tərəfindən yaradıldığı qərara alınan mətn üçün bir rəng və AI tərəfindən yaradılıb sonra alətlə parafraz edildiyi qərara alınan mətn üçün başqa rəng ilə.

Müəllimlərin həmin ekranla nə etdiyi son dərəcə dəyişir. Turnitin-in öz təlimatı onlara balı hökm deyil, söhbətə başlamaq üçün siqnal kimi qəbul etməyi deyir və bir çox universitet bu ehtiyatı siyasətə daxil edib. Praktikada digər cəhətdən güclü işdə 15% bal çox vaxt nəzərə alınmır, 80% bal isə qaralama tarixçənizə, istinadlarınıza və essenin əvvəlki yazınızla necə müqayisə olunduğuna daha yaxından baxışa səbəb olur. Rəqəm faylı açır; insan onu bağlayır.

Turnitin parafraz edilmiş və ya humanizasiya edilmiş mətni aşkarlayırmı?

Bəzən, və silahlanma yarışının yaşadığı yer budur. 2024-cü ildə Turnitin AI parafraz aşkarlanmasını əlavə etdi, bu, LLM tərəfindən yaradılıb sonra parafraz alətindən keçirilən mətni aşkar etmək üçün öyrədilmiş qatdır. Ucuz parafraz, yəni orijinal cümlə strukturunu toxunulmaz saxlayan sinonim dəyişdirmələri, məhz bu qatın tutduğudur, çünki maşın mətninin statistik skeleti söz dəyişikliklərindən sağ çıxır.

Daha dərin yenidən yazma fərqli hekayədir. Cümlə strukturu, ritm və ifadə tərzi həqiqətən yenidən qurulduqda, aşkarlayıcının etibar etdiyi iz solur. Tezaurus keçidi ilə real humanizasiya arasındakı fərq budur və məhz buna görə ciddi pulsuz AI humanizatoru nəticələri inamla qəbul etməyinizi xahiş etmək əvəzinə sizə əvvəl və sonra aşkarlanma ballarını göstərir. Yenidən yazılmış mətninizi əsl aşkarlayıcılara qarşı sınamaq çevrilmənin işlədiyini bilməyin yeganə dürüst yoludur.

O, özünüzün redaktə etdiyiniz AI mətnini tuturmu?

Yüngülcə redaktə edilmiş AI mətni adətən yenə də qeyd olunur. Bir neçə sözü dəyişmək, girişi silmək və ya iki abzası yenidən sıralamaq aşkarlayıcının ölçdüyü cümlə səviyyəsindəki statistikanı dəyişmir, ona görə sənədin çoxu yenə də maşın yazısı kimi oxunur. Tələbələr bundan mütəmadi olaraq təəccüblənir: on beş dəqiqəlik cilalama real iş kimi hiss olunur, lakin balı çətinliklə dəyişir.

Ciddi şəkildə yenidən yazılmış mətni tutmaq çox daha çətindir və Turnitin bunu deyir. Onun sənədləşdirməsi qeyd edir ki, etibarlılıq qarışıq müəllifliyi olan sənədlərdə düşür, məhz buna görə aşağı-bal ulduzu mövcuddur. ChatGPT-ni plan və ya kobud qaralama üçün istifadə edib sonra hər cümləni öz səsinizlə, öz nümunələrinizlə və öz keçidlərinizlə yenidən yazmısınızsa, son mətn hər hansı statistik ölçüyə görə əsasən sizindir. Aşkarlayıcı maşın nəsrini tapmaqda yaxşıdır. Onun altındakı ideyaları görməyin heç bir yolu yoxdur.

GPT-4, Claude, Gemini: model əhəmiyyət kəsb edirmi?

Ümid etdiyinizdən az. Turnitin aşkarlayıcısını bir məhsul üzərində deyil, kateqoriya olaraq böyük dil modellərinin nəticəsi üzərində öyrədib və hər böyük söhbət modeli eyni əsas vərdişi paylaşır: ən ehtimallı növbəti sözü proqnozlaşdırmaq. GPT-4o, Claude və Gemini-nin defolt nəticəsi hamısı eyni hamar, düz izi daşıyır və sınaqlar davamlı olaraq göstərir ki, mətn redaktə edilmədikdə Turnitin hər üçünü yüksək dərəcədə qeyd edir.

İki nüans realdır. Daha yeni modellər aşkarlayıcının əvvəlcə tənzimləndiyi GPT-3.5 mətnindən bir qədər az proqnozlaşdırıla biləndir, ona görə qabaqcıl modellərdə aşkarlanma dərəcələri Turnitin yenidən öyrədilənə qədər bir az düşə bilər ki, o da bunu müntəzəm edir. Və "insan kimi yaz" və ya "partlayışlılıq əlavə et" kimi sorğu hiylələri səth üslubunu insanların düşündüyündən çox az dəyişir, çünki model kostyumun altında yenə də yüksək ehtimallı sözlər seçir. Çatbotları dəyişmək aşkarlanma strategiyası deyil.

Tələbələr əslində necə qeyd olunur

Yüksək AI balı tək başına nadir hallarda kimisə batırır. Real işlər dəlil zəncirindən qurulur və göstərici yalnız ilk halqadır. Müəllimlərin təsvir etdiyi nümunə davamlıdır: yüksək faiz, üstəlik versiya tarixçəsi olmayan sənəd, üstəlik tələbənin əvvəlki işindən nəzərəçarpacaq dərəcədə daha cilalı və ya daha ümumi olan yazı, üstəlik qeyri-müəyyən arqumentlər və ya mövcud olmayan istinadlar kimi məzmun problemləri.

Sonuncu vurğulanmağa layiqdir. Uydurulmuş istinadlar AI pozuntu işlərində ən ittihamedici artefaktdır, çünki onları yazı üslubu ilə izah etmək olmaz. Aşkarlayıcı balı ilə mübahisə etmək olar; heç vaxt dərc olunmamış istinad edilən məqalə ilə isə olmaz. AI alətlərindən ümumiyyətlə, hər hansı icazə verilmiş həcmdə istifadə edirsinizsə, hər mənbəni əl ilə yoxlayın, qaralamalarınızı saxlayın və işinizin qalan hissəsi ilə uyğun səslə yazın. Tutulan tələbələr demək olar ki, heç vaxt yalnız faizlə tutulmur.

Yalandan ittiham olunsanız nə etməli

Yalan müsbətlər baş verir və Turnitin bunu etiraf edir. Araşdırma həmçinin göstərib ki, AI aşkarlayıcıları bir sinif olaraq ana dili ingilis olmayan yazıçıları yüksək dərəcədə qeyd edir, ehtimal ki, diqqətli, öyrənilmiş ingilis dili daha vahid və proqnozlaşdırıla bilən olduğu üçün, məhz aşkarlayıcıların maşınabənzər kimi oxuduğu keyfiyyətlər. İşinizi dürüstcəsinə yazıb qeyd olunmusunuzsa, müdafiə oluna bilən mövqeyiniz var, ona görə çaxnaşmayın və etmədiyiniz bir şeyi etiraf etməyin.

İclasdan əvvəl dəlil faylınızı qurun. Google Docs və ya Word-dən versiya tarixçəsi sahib olduğunuz ən güclü artefaktdır, çünki o, essenin saatlar ərzində cümlə-cümlə böyüdüyünü göstərir. Qeydlərinizi, planlarınızı, brauzer araşdırma tarixçənizi və üslubunuzu göstərən əvvəlki qiymətləndirilmiş yazınızı əlavə edin. Əsl hesabatı görməyi xahiş edin və Turnitin-in öz dərc edilmiş qeydlərinə işarə edin: aşağı ballardakı ulduz, cümlə səviyyəsində yalan müsbət nisbəti və şirkətin göstəricinin yeganə dəlil kimi istifadə edilməməli olduğu barədə açıq bəyanatı. Əksər qurumların apellyasiya prosesi var. Ondan sakit və yazılı şəkildə istifadə edin.

Təqdim etməzdən əvvəl işinizi yoxlayın

Budur praktik məyusluq: tələbələr təqdim etməzdən əvvəl Turnitin-in AI balını görə bilmir, ona görə problem olduğunu ilk dəfə öyrəndiyiniz vaxt çox vaxt mümkün ola biləcək ən pis andır. Həlli yolu əvvəlcə qaralamanızı müstəqil aşkarlayıcılara qarşı sınamaqdır. Onlar Turnitin ilə eyni deyil, lakin eyni statistik siqnalları ölçür və bir neçə aşkarlayıcıda təmiz bal alan qaralamanın göstəricini yandırma ehtimalı çox azdır.

Humanize AI məhz bunun üçün qurulub. Mətninizi yapışdırın və ya PDF və ya DOCX faylı yükləyin, hər hansı bir şeyi dəyişməzdən əvvəl iki müstəqil aşkarlayıcıdan canlı AI ehtimal balı alırsınız, sonra humanizasiyadan sonra təzə bal, 40 dildən hər hansı birində, qeydiyyat və söz limiti olmadan. Balınız gözləniləndən yüksəkdirsə, Turnitin AI aşkarlanmasından necə yan keçmək olar bələdçimiz onu dürüstcəsinə aşağı salmağı, işin çoxunu öz səsiniz görməklə izah edir.

Tez-tez verilən suallar