Turnitin ChatGPT'yi Tespit Eder mi? Dürüst Cevap

Doğrudan cevap: evet, ama önemli çekincelerle

Turnitin, Nisan 2023'ten bu yana benzerlik raporlarına bir yapay zekâ yazım göstergesi ekliyor ve bu gösterge özellikle ChatGPT gibi büyük dil modellerinden çıkan metinleri yakalamak için geliştirildi. Bir ChatGPT cevabını olduğu gibi bir denemeye yapıştırıp teslim ederseniz, Turnitin'in büyük bölümünü işaretleme olasılığı çok yüksektir. Bu kısım tartışmasız.

Çekinceler de en az bunun kadar önemli. Gösterge istatistiksel bir tahmindir, kanıt değil. Yalnızca asgari koşulları karşılayan gönderimlerde çalışır; şu anda bu, en az 300 kelimelik düzyazı demek. İnsan ve yapay zekâ karışımı belgelerde daha az güvenilirdir, cümle düzeyinde belgelenmiş bir yanlış pozitif sorunu vardır ve Turnitin'in kendisi eğitmenlere puanın hiçbir zaman tek başına akademik usulsüzlük kararının dayanağı olmaması gerektiğini söyler. Peki Turnitin yapay zekâyı tespit edebilir mi? Evet. Kullandığınızı kanıtlayabilir mi? Hayır; ve her gerçek vaka işte bu boşlukta karara bağlanır.

Turnitin'in yapay zekâ yazım göstergesi nasıl çalışır

Turnitin, denemenizi bir ChatGPT çıktıları veritabanıyla karşılaştırmaz. Bunun yerine belgenizi birkaç yüz kelimelik örtüşen bölümlere ayırır, ardından her cümleyi istatistiksel olarak ne kadar öngörülebilir olduğuna göre puanlar. Dil modelleri, sürekli olarak en olası sonraki kelimeyi seçerek yazar; bu da alışılmadık derecede pürüzsüz, düz ve sürprizsiz bir metin üretir. İnsan yazısı daha dağınıktır: cümle uzunlukları değişir, kelime seçimleri ara sıra tuhaftır ve ritim iner çıkar.

Bunun büyük kısmını yönlendiren iki sinyal, kelime seçimlerinizin ne kadar öngörülebilir olduğunu ifade eden perplexity ile cümle yapınızın ne kadar çeşitlendiğini ifade eden burstiness'tır. Bir pasaj tutarlı biçimde pürüzsüz ve tutarlı biçimde düzse, model o cümleleri muhtemelen yapay zekâ olarak işaretler. Mekanizmayı yapay zekâ dedektörleri nasıl çalışır rehberimizde daha ayrıntılı ele alıyoruz, ama kilit nokta basit: Turnitin, belirli bir sohbet botunun içeriğini değil, makine yazısının istatistiksel parmak izini tespit eder.

Yüzde puanı gerçekte ne anlama geliyor

Eğitmenlerin gördüğü sayı, belgenizde koşulları karşılayan cümlelerin ne kadarının modele göre yapay zekâ tarafından üretildiğinin yüzdesidir. %40'lık bir puan, Turnitin'in kopya çektiğinize %40 emin olduğu anlamına gelmez. Düzyazı cümlelerinizin kabaca %40'ının modele makine yazısı gibi göründüğü anlamına gelir. Bunlar birbirinden çok farklı iddialardır ve ikisini karıştırmak, usulsüzlük görüşmelerindeki en yaygın hatadır.

Bilinmesi gereken iki ayrıntı var. Birincisi, Turnitin %1 ile %19 arasındaki puanları bir yıldız işaretiyle gösterir, çünkü kendi araştırması düşük puanların yanlış pozitif içerme olasılığının daha yüksek olduğunu bulmuştur; bazı kurumlar raporları bu aralığı tamamen gizleyecek şekilde yapılandırır. İkincisi, gösterge madde işaretli listeler, kod, tablolar ve çok kısa cümleler gibi koşulları karşılamayan metinleri yok sayar; dolayısıyla yüzde, belgenizin yalnızca bir bölümünü anlatır.

Turnitin'in yapay zekâ tespiti ne kadar doğru?

Turnitin'in yayımladığı iddia, göstergenin yapay zekâ yazısını yaklaşık %98 doğrulukla tanımladığı ve metnin %20'sinden fazlası yapay zekâ üretimi olan ödevlerde belge düzeyindeki yanlış pozitif oranını %1'in altında tuttuğu yönündedir. Bu sayılar Turnitin'in kendi laboratuvar testlerinden gelir ve belirli bir senaryoyu anlatır: İngilizce düzyazıda büyük ölçüde düzenlenmemiş yapay zekâ metni.

Bağımsız incelemeler daha az iç açıcı oldu. Lansmandan kısa süre sonra Turnitin, cümle düzeyindeki yanlış pozitiflerin beklenenden yüksek olduğunu, insan ve yapay zekâ yazısı karışımı belgelerde %4'e yaklaştığını kabul etti. Aracı 2023'te test eden gazeteciler, hibrit denemelerde tökezlediğini, yapay zekâ pasajlarını kaçırıp insan yazısı pasajları işaretlediğini gördü. Ve Ağustos 2023'te Vanderbilt Üniversitesi, yanlış pozitif riskinin üzerine karar bina edilemeyecek kadar yüksek olduğunu savunarak özelliği kamuoyu önünde devre dışı bıraktı. Turnitin yapay zekâ tespit doğruluğunun adil özeti şu: saf, düzenlenmemiş ChatGPT çıktısında güçlü; aradaki her şeyde belirgin biçimde daha zayıf.

Öğretmeniniz gerçekte ne görüyor

Öğrenciler yapay zekâ puanını genellikle hiç göremez. Gösterge, eğitmenin benzerlik raporu görünümünde, intihal puanından ayrı küçük bir yüzde rozeti olarak yer alır. Üzerine tıklamak, işaretlenen cümlelerin vurgulandığı bir rapor açar; yapay zekâ üretimi olduğuna hükmedilen metin bir renkle, yapay zekâ üretimi olup ardından bir araçla parafraz edildiğine hükmedilen metin başka bir renkle gösterilir.

Eğitmenlerin bu ekranla ne yaptığı büyük ölçüde değişir. Turnitin'in kendi kılavuzu, puanı bir hüküm değil, bir konuşma başlatma sinyali olarak ele almalarını söyler ve birçok üniversite bu ihtiyatı politikalarına yazmıştır. Uygulamada, diğer yönlerden güçlü bir ödevdeki %15'lik puan çoğu zaman göz ardı edilirken, %80'lik bir puan taslak geçmişinize, kaynakçanıza ve denemenin önceki yazılarınızla nasıl karşılaştırıldığına daha yakından bakılmasını tetikler. Sayı dosyayı açar; kapatan ise bir insandır.

Turnitin parafraz edilmiş veya insanlaştırılmış metni tespit eder mi?

Bazen; ve silahlanma yarışı tam da burada yaşanıyor. Turnitin 2024'te, bir büyük dil modeli tarafından üretilip ardından bir parafraz aracından geçirilmiş metinleri yakalamak üzere eğitilmiş bir katman olan yapay zekâ parafraz tespitini ekledi. Ucuz parafraz, yani orijinal cümle yapısını olduğu gibi bırakan eş anlamlı kelime değişimleri, bu katmanın tam olarak yakaladığı şeydir; çünkü makine metninin istatistiksel iskeleti kelime değişikliklerine rağmen ayakta kalır.

Daha derin yeniden yazım ise başka bir hikâye. Cümle yapısı, ritim ve ifade gerçekten yeniden inşa edildiğinde, dedektörün dayandığı parmak izi silikleşir. Sözlükten eş anlamlı geçirmekle gerçek insanlaştırma arasındaki fark budur ve ciddi bir ücretsiz yapay zekâ insanlaştırıcının sonuçlara körü körüne inanmanızı istemek yerine önce ve sonra tespit puanlarını göstermesinin nedeni de budur. Yeniden yazdığınız metni gerçek dedektörlerle test etmek, dönüşümün işe yarayıp yaramadığını bilmenin tek dürüst yoludur.

Kendi düzenlediğiniz yapay zekâ metnini yakalar mı?

Hafifçe düzenlenmiş yapay zekâ metni genellikle yine de işaretlenir. Birkaç kelimeyi değiştirmek, bir girişi silmek veya iki paragrafın yerini değiştirmek, dedektörün ölçtüğü cümle düzeyindeki istatistikleri değiştirmez; bu yüzden belgenin çoğu hâlâ makine yazısı gibi okunur. Öğrenciler buna düzenli olarak şaşırır: on beş dakikalık cilalama gerçek bir emek gibi hissettirir, ama puanı neredeyse hiç kımıldatmaz.

Baştan sona yeniden yazılmış metni yakalamak çok daha zordur ve Turnitin bunu açıkça söyler. Belgeleri, karma yazarlıklı belgelerde güvenilirliğin düştüğünü not eder; düşük puan yıldızının var olma nedeni tam da budur. ChatGPT'yi bir taslak ya da kaba bir ilk sürüm için kullandıysanız ve ardından her cümleyi kendi sesinizle, kendi örneklerinizle ve kendi geçişlerinizle yeniden yazdıysanız, nihai metin her istatistiksel ölçüte göre büyük ölçüde sizindir. Dedektör makine düzyazısını bulmakta iyidir. Altındaki fikirleri görmesinin ise hiçbir yolu yoktur.

GPT-4, Claude, Gemini: model fark eder mi?

Umduğunuzdan daha az. Turnitin dedektörünü tek bir ürün üzerinde değil, bir kategori olarak büyük dil modellerinin çıktıları üzerinde eğitti ve bütün büyük sohbet modelleri aynı temel alışkanlığı paylaşır: en olası sonraki kelimeyi tahmin etmek. GPT-4o, Claude ve Gemini'nin varsayılan çıktılarının hepsi aynı pürüzsüz, düz parmak izini taşır ve testler, metin düzenlenmemişse Turnitin'in üçünü de yüksek oranlarda işaretlediğini tutarlı biçimde gösterir.

İki nüans gerçektir. Daha yeni modeller, dedektörün başlangıçta ayarlandığı GPT-3.5 metnine göre marjinal olarak daha az öngörülebilirdir; bu yüzden en yeni modellerde tespit oranları, Turnitin yeniden eğitim yapana kadar hafifçe düşebilir ki bunu düzenli olarak yapar. Ayrıca "insan gibi yaz" veya "burstiness ekle" gibi istem hileleri, yüzey üslubunu sanıldığından çok daha az değiştirir; çünkü model, kostümün altında hâlâ yüksek olasılıklı kelimeleri seçmektedir. Sohbet botu değiştirmek bir tespit stratejisi değildir.

Öğrenciler gerçekte nasıl yakalanıyor

Tek başına yüksek bir yapay zekâ puanı nadiren birini batırır. Gerçek vakalar bir kanıt zincirinden inşa edilir ve gösterge yalnızca ilk halkadır. Eğitmenlerin tarif ettiği örüntü tutarlıdır: yüksek bir yüzde, artı sürüm geçmişi olmayan bir belge, artı öğrencinin önceki çalışmalarından belirgin biçimde daha cilalı veya daha jenerik bir yazı, artı muğlak argümanlar ya da var olmayan kaynakça gibi içerik sorunları.

Bu sonuncusu vurguyu hak ediyor. Uydurma kaynaklar, yapay zekâ usulsüzlük vakalarındaki en ağır tek kanıttır; çünkü yazım üslubuyla açıklanamazlar. Bir dedektör puanıyla tartışılabilir; ama hiç yayımlanmamış bir makaleye atıf yapılmışsa bununla tartışılamaz. Yapay zekâ araçlarını herhangi bir izinli kapsamda kullanıyorsanız bile, her kaynağı elle doğrulayın, taslaklarınızı saklayın ve çalışmanızın geri kalanıyla tutarlı bir sesle yazın. Yakalanan öğrenciler neredeyse hiçbir zaman yalnızca yüzdeyle yakalanmaz.

Haksız yere suçlanırsanız ne yapmalısınız

Yanlış pozitifler olur ve Turnitin bunu kabul eder. Araştırmalar ayrıca yapay zekâ dedektörlerinin bir sınıf olarak, ana dili İngilizce olmayan yazarları daha yüksek oranlarda işaretlediğini göstermiştir; muhtemelen özenli, sonradan öğrenilmiş İngilizce daha tekdüze ve öngörülebilir olma eğilimindedir, yani dedektörlerin makine benzeri okuduğu niteliklerin ta kendisi. Ödevinizi dürüstçe yazdıysanız ve işaretlendiyseniz, savunulabilir bir konumdasınız; o yüzden paniğe kapılmayın ve yapmadığınız bir şeyi itiraf etmeyin.

Görüşmeden önce kanıt dosyanızı hazırlayın. Google Dokümanlar veya Word'deki sürüm geçmişi elinizdeki en güçlü kanıttır; çünkü denemenin saatler boyunca cümle cümle büyüdüğünü gösterir. Notlarınızı, taslak planlarınızı, tarayıcı araştırma geçmişinizi ve üslubunuzu gösteren daha önce notlandırılmış yazılarınızı ekleyin. Raporun kendisini görmeyi isteyin ve Turnitin'in kendi yayımladığı çekincelere işaret edin: düşük puanlardaki yıldız işareti, cümle düzeyindeki yanlış pozitif oranı ve şirketin göstergenin tek kanıt olarak kullanılmaması gerektiğine dair açık beyanı. Çoğu kurumun bir itiraz süreci vardır. Onu sakin bir şekilde ve yazılı olarak kullanın.

Teslim etmeden önce çalışmanızı kontrol edin

İşte pratik sıkıntı: öğrenciler Turnitin'in yapay zekâ puanını teslimden önce göremez; bu yüzden bir sorun olduğunu ilk öğrendiğiniz an, çoğu zaman en kötü andır. Çözüm, taslağınızı önce bağımsız dedektörlerle test etmektir. Turnitin ile birebir aynı değillerdir, ama aynı istatistiksel sinyalleri ölçerler ve birden fazla dedektörde temiz puan alan bir taslağın göstergeyi tetiklemesi çok düşük bir olasılıktır.

Humanize AI tam da bunun için tasarlandı. Metninizi yapıştırın veya bir PDF ya da DOCX dosyası yükleyin; daha hiçbir şeyi değiştirmeden iki bağımsız dedektörden canlı bir yapay zekâ olasılık puanı alın, ardından insanlaştırmadan sonra yeni bir puan görün; 40 dilden herhangi birinde, kayıt olmadan ve kelime sınırı olmadan. Puanınız beklediğinizden yüksekse, Turnitin yapay zekâ tespitini atlatma rehberimiz, işin çoğunu kendi sesiniz yaparken puanı dürüstçe düşürmeyi adım adım anlatıyor.

Sıkça sorulan sorular