Yapay Zekâ Dedektörleri Gerçekte Nasıl Çalışır (ve Sizi Neden İşaretler)

Bir yapay zekâ dedektörü gerçekte neyi ölçer

Bir yapay zekâ dedektörü, bir cümleyi kimin yazdığını bilmez. Belgenizi daha önce hiç görmemiştir ve onu gizli bir ChatGPT çıktıları veritabanıyla karşılaştıramaz. Bunun yerine, metninizin büyük dil modellerinin üretme eğiliminde olduğu kalıplara kıyasla ne kadar öngörülebilir olduğunu puanlar.

Modern dedektörlerin kendileri de milyonlarca insan ve yapay zekâ pasajı üzerinde eğitilmiş makine öğrenimi modelleridir. Üretimin geride bıraktığı istatistiksel parmak izlerini arar, sonra bir olasılık verirler. Bu süreçte hiçbir şey yazarlığı doğrulamaz. Bir dedektör tarayıcı geçmişinizi göremez veya yazarken sizi izleyemez; yalnızca metninizin, üzerinde eğitildiği makine yazısına benzediğini ya da benzemediğini söyleyebilir.

Bunu bir spam filtresi gibi düşünün. İstenmeyen postaların genellikle neye benzediğini öğrenmiştir, bu yüzden o özellikleri taşıyan mesajları işaretler; ama tek bir e-posta hakkında asla emin olamaz. Yapay zekâ tespiti de aynı şekilde çalışır; bu da her puanın, sayı kılığına girmiş bir sezgi olduğu anlamına gelir. Bu, bir sonucu nasıl okumanız gerektiğini de değiştirir: "%85 yapay zekâ", metninizin %85'inin makine yazısı olduğu anlamına gelmez. Dedektörün bir tahminden epeyce emin olduğu anlamına gelir.

Perplexity: kelimeleriniz ne kadar şaşırtıcı

Perplexity, tek başına en önemli sinyaldir. Bir dil modelinin seçtiğiniz her kelime karşısında ne kadar şaşırdığını ölçer. Her sonraki kelime tam da modelin tahmin edeceği kelimeyse perplexity düşüktür ve metin makine yazısı gibi görünür. İnsanlar daha az öngörülebilirdir: tuhaf bir sıfata uzanır, bir kuralı çiğner ya da bir şeyi biraz beceriksizce ifade ederiz ve bu seçimlerin her biri perplexity'yi yukarı iter.

Somut bir ikili bunu görünür kılar. Birinci cümle: "Düzenli egzersiz önemlidir çünkü hem fiziksel hem de zihinsel sağlığı iyileştirir." İkinci cümle: "Egzersize devam ediyorum çünkü sonrasında dizlerim daha az şikâyet ediyor ve gelen kutum daha az korkutucu geliyor." İkisi de dilbilgisi açısından doğrudur ve ikisi de aynı temel noktayı yapar; ama ilki, tamamen bir dil modelinin en olası sonraki seçim olarak sıralayacağı kelimelerden kurulmuştur; "düzenli egzersiz önemlidir çünkü" neredeyse bir şablondur. İkincisi küçük riskler alır: şikâyet eden dizler, korkutan bir gelen kutusu. Kelime kelime olasılık puanlayan bir model, ilk cümleyi hiç şaşırtıcı bulmaz, ikincisini ise tahmin etmesi gerçekten zor bulur; bu yüzden ilki yapay zekâ, ikincisi insan gibi okunur.

Cilalı, jenerik yazıların her kelimesini bir insan yazmış olsa bile işaretlenmesinin nedeni de budur. Perplexity emeği veya dürüstlüğü değil, yalnızca öngörülebilirliği ölçer ve tamamen insana ait bazı yazılar çok öngörülebilirdir.

Burstiness: gerçek yazının ritmi

Burstiness, cümle yapısı ve uzunluğundaki çeşitliliği ölçer. İnsanlar dalgalar hâlinde yazar: uzun, kıvrımlı bir cümlenin ardından kısa bir tane gelir. Üç kelime. Sonra da muhtemelen olması gerekenden daha uzun süren, ayrıntıyla dolu karmaşık bir yan cümle.

Yapay zekâ çıktısı daha pürüzsüzdür. Varsayılan ayarlarında bırakıldığında model, paragraf paragraf aynı uzunlukta gezinen, benzer yapılarla açılan ve aynı düz tempoyla biten cümleler üretir. İkisini yan yana koyduğunuzda, tek kelime okumadan farkı çoğu zaman görebilirsiniz: insan metni sayfada pürüzlü görünür, makine metni tuğla örgüsü gibidir.

Dedektörler bu pürüzlülüğü sayısallaştırır. Düşük burstiness artı düşük perplexity, klasik yapay zekâ imzasıdır ve ikisi bir aradaysa dedektör, konu ve dilbilgisi kusursuz olsa bile metnin üretildiğinden emin olmaya başlar. Yine de tek başına her iki sinyal de zayıftır. Bir şair çılgın bir burstiness ile, bir sözleşme avukatı ise neredeyse hiç olmadan yazar ve ikisi de insandır; ciddi araçların ikisini her zaman birleştirmesinin nedeni budur.

Kaputun altında token olasılığı

Dil modelleri her seferinde bir token yazar ve her token bir olasılık puanıyla gelir. Dedektörler bu olasılıkları yaklaşık olarak hesaplar ve metninizin, modelin olası seçimlerden oluşan "konfor alanının" içinde olup olmadığını kontrol eder. Bir pasaj neredeyse tamamen yüksek olasılıklı tokenlardan, düz bir ritimle dizilerek kurulmuşsa, ChatGPT, Gemini ve Claude'un varsayılan üretim biçimiyle eşleşir ve dedektör bu kalıbı gördüğünüz yüzdeye dönüştürür.

Bu, kısa parçaları test etmenin neden güvenilmez olduğunu da açıklar. Yalnızca bir iki cümleyle, titiz bir insanı bir modelden ayırmaya yetecek sinyal yoktur; bu yüzden puanlar çılgınca savrulur. Çoğu sağlayıcı bunu sessizce kabul eder: birkaçı, birkaç yüz kelimenin altındaki hiçbir şeyi puanlamayı reddeder; çünkü o uzunluğun altında matematik bir ölçümden çok yazı tura atmaya yakındır.

İstatistiksel dedektörler ile sınıflandırıcı tabanlı dedektörler

Tespit araçları iki aileye ayrılır ve hangisiyle karşı karşıya olduğunuzu bilmek pek çok tuhaf sonucu açıklar. İstatistiksel dedektörler, olasılıkları doğrudan hesaplamak için bir referans dil modeli kullanır: metninizi modelden geçirir, perplexity, burstiness ve ilgili büyüklükleri ölçer, sonra bir eşik uygular. GLTR ve DetectGPT gibi araştırma yöntemleri bu şekilde çalışır; birçok ücretsiz kontrol aracının arkasındaki puanlama da öyle. Güçlü yanları etiketli eğitim verisine ihtiyaç duymamalarıdır; zayıf yanları ise hükmün, puanlamayı hangi referans modelin yaptığına büyük ölçüde bağlı olmasıdır.

Sınıflandırıcı tabanlı dedektörler ise eğitilir. Sağlayıcı, insan yazısı olduğu ve yapay zekâ yazısı olduğu bilinen büyük derlemler toplar, ardından ikisini ayırt etmesi için genellikle RoBERTa tarzı bir dönüştürücü olan bir modeli ince ayarlar. Turnitin, Originality.ai ve Copyleaks bu şekilde kurulmuştur. Sınıflandırıcılar ham perplexity'nin ötesindeki ince ipuçlarını yakalar; bu yüzden eğitim verilerine benzeyen metinlerde daha doğru olma eğilimindedirler; ama daha yeni modellerin, başka dillerin veya hiç görmedikleri alanların yazılarında bozulurlar ve sağlayıcının dışında hiç kimse gerçekte ne öğrendiklerini inceleyemez.

Ticari ürünlerin çoğu artık iki yaklaşımın melezidir; puanlarının yorumlanmasının zor, araçlar arasında karşılaştırılmasının ise daha da zor olmasının bir nedeni budur.

ChatGPT, Gemini ve Claude çıktıları neden işaretleniyor

En gelişmiş modeller açık, güvenli ve akıcı olacak şekilde eğitilir ve bu eğitimin son aşaması, değerlendiricilerin çoğunun iyi yazılmış bulduğu cevapları ödüllendirir. Bu da çıktıyı dengeli cümlelere, "dahası" ve "sonuç olarak" gibi derli toplu geçişlere ve istatistiksel olarak yolun ortasında kalan bir kelime dağarcığına doğru iter.

Aynı nitelikler, dedektörlerin avladığı şeylerin ta kendisidir. Yazı ne kadar cilalı ve "ortalama" olursa, perplexity ve burstiness o kadar düşer, yapay zekâ puanı o kadar yükselir. İşin ironik yanı, yazım hataları ve tuhaflıklarla dolu ham insan taslakları, temiz bir yapay zekâ ilk taslağından çoğu zaman daha kolay geçer; çünkü insan sinyalini taşıyan şey tam da o kusurlardır.

GPTZero, Turnitin, ZeroGPT ve diğerleri gerçekte neyi kontrol ediyor

Büyük araçlar aynı temel mantığı paylaşır ama farklı ayarlarlar. GPTZero, perplexity ve burstiness puanlamasını popülerleştirdi ve ikisini de cümle düzeyinde raporlar. Turnitin AI, tespiti okullara yönelik intihal paketine entegre eder; belgeleri örtüşen bölümlere ayırır ve sınıflandırıcısının model yazısı olduğuna inandıklarını işaretler.

ZeroGPT hızlı, ücretsiz, cümle bazlı bir okuma sunarken, Originality.ai yayıncıları ve SEO ekiplerini katı, güven ağırlıklı bir puanla hedefler. Copyleaks çok dilli kapsama ve kurumsal raporlamaya ağırlık verir. Hepsi olasılıksaldır; hiçbirinin dürüstçe kusursuz olduğunu iddia edememesinin ve her sağlayıcının doğruluk pazarlamasının, sessiz sedasız, sağlayıcının kendi tasarladığı testleri anlatmasının nedeni budur.

Dedektörler birbirleriyle neden çelişiyor

Aynı denemeyi üç dedektöre yapıştırın; birinden %2 yapay zekâ, diğerinden %45, üçüncüsünden %88 alabilirsiniz. Bu dağılım, içlerinden birindeki bir hata değildir; farklı sistemlerin aynı kanıttan farklı tahminler üretmesinin doğal sonucudur.

Her araç kendi derlemi üzerinde eğitilir, kendi referans modeliyle puanlar, metni farklı böler (belgenin tamamı veya cümle cümle) ve "muhtemelen yapay zekâ" saymak için kendi eşiğini belirler. Haksız suçlamalardan kaçınacak şekilde ayarlanmış bir araç ihtiyatlı davranıp az işaretler; kopyacıları yakalama vaadiyle satılan bir araç ise aynı metni saldırgan biçimde fazla işaretler. Ayrıca farklı takvimlerle güncellenirler; yeni bir model çıkmadan önce ayarlanmış bir dedektör, o modelin üslubunu aylarca yanlış değerlendirir.

Pratik ders şu: hiçbir tekil puan kesin değildir ve araçlar arasındaki anlaşmazlık, işin içinde ne kadar tahmin olduğunun doğrudan kanıtıdır. Okulunuz Turnitin ile kontrol ediyorsa, yalnızca Turnitin'in hükmü önemlidir ve başka bir yerdeki temiz puan onu ne öngörür ne de sizi ondan korur.

Yanlış pozitifler: yayımlanmış sayılar

Dedektörler öngörülebilirliği yargıladığı için düzenli olarak yanılır ve bu ıskalar varsayımsal değildir. OpenAI'nin Ocak 2023'te yayımladığı kendi sınıflandırıcısı, yapay zekâ yazısı metinlerin yalnızca %26'sını tanımlarken insan metinlerinin %9'unu yanlışlıkla yapay zekâ olarak etiketledi ve şirket, düşük doğruluk nedeniyle aracı altı ay içinde emekliye ayırdı. Turnitin, belge düzeyinde %1'in altında bir yanlış pozitif oranı iddia ediyor; ancak tek tek işaretlenen cümlelerin çok daha az güvenilir olduğunu kabul etti; yalnızca az miktarda şüpheli yapay zekâ metni içeren belgelerde puanları göstermemesinin nedeni budur.

En rahatsız edici bulgu ana dili İngilizce olmayanlarla ilgilidir. Stanford araştırmacıları, yedi popüler dedektörü gerçek öğrencilerin TOEFL sınavı için yazdığı denemeler üzerinde test etti ve bu insan yazısı denemelerin ortalama %61'inin yapay zekâ üretimi olarak işaretlendiğini, neredeyse tamamının en az bir dedektör tarafından işaretlendiğini gördü. Ana dili İngilizce olan ABD'li öğrencilerin denemeleri ise aynı araçlardan neredeyse hiç takılmadan geçti.

Mekanizma, tam olarak bu makalenin anlattığı şeydir: ikinci bir dilde yazanlar daha güvenli kelimeler ve daha düzenli cümle yapıları kullanma eğilimindedir; bu perplexity'yi düşürür, bu da makine metni gibi okunur. Önyargı, yöntemin kendisine gömülüdür. Sorumlu okulların bir dedektör puanını kanıt olarak değil, bir konuşmanın başlangıcı olarak ele almasının nedeni budur. Bir sayı kanıt değildir.

Filigran: henüz yayına girmemiş çözüm

Araştırmacılar uzun süredir gerçek çözümün filigran olduğunu savunuyor: yapay zekâ modelinin üretim anında görünmez bir istatistiksel imzayı bizzat gömmesi. En bilinen şemada model, yazarken dönüşümlü bir "yeşil liste" token kümesini gizlice kayırır. Bir okur kalıbı fark edemez, ama anahtarı elinde tutan bir dedektör bunu perplexity tahmininden çok daha iyi bir doğrulukla test edebilir.

Büyük ölçüde yayına girmedi. OpenAI, şirket içinde uzun pasajlarda yaklaşık %99,9 etkili olduğu bildirilen bir metin filigranı geliştirdi ve üzerine oturdu; gerekçe olarak parafraz veya çevirinin işareti sildiğini, yapay zekâyı meşru biçimde cila için kullanan ana dili İngilizce olmayanları damgalayabileceğini ve daha az soylu bir gerekçeyle, kullanıcıların filigran kullanmayan araçlara geçivereceğini gösterdi. Google'ın SynthID-Text'i istisnadır; Gemini'nin içinde çalışır ve açık kaynak olarak yayımlandı, ama yalnızca Gemini'nin kendi çıktısını işaretler.

Temel sorun şu: bir filigran yalnızca yapımcıları iş birliği yapan modelleri kapsar ve herkesin yerel olarak çalıştırabildiği açık ağırlıklı modeller asla filigran taşımayacaktır. Yani okulunuzun veya işvereninizin bugün kullandığı dedektör, hâlâ filigran okumuyor, istatistik yapıyor; bunun ima ettiği bütün belirsizlikle birlikte.

Dedektörler karışık insan ve yapay zekâ metnini nasıl ele alır

Gerçek belgeler nadiren tek parçadır. Bir öğrenci girişi elle yazar, ChatGPT'den iki gövde paragrafını genişletmesini ister, sonra tamamını düzenler. Dedektörler bununla, belge boyunca kayan bir pencere gezdirerek, her cümleyi veya bölümü ayrı puanlayarak ve üretilmiş görünen kısımları vurgulayarak başa çıkar.

Karıştırma her sinyali zayıflatır. Bir yapay zekâ paragrafının içindeki insan düzenlemeleri onun perplexity'sini yükseltir; bir insan bölümünün içindeki yapay zekâ cümleleri ritmini tekdüzeliğe doğru çeker. Sonuç, "yarısı yapay zekâ" da olabilecek, "tamamı insan ama tuhaf yazılmış" da olabilecek orta aralıkta bir puandır ve cümle bazlı vurgular, genel sayıdan belirgin biçimde daha az güvenilirdir. Örneğin Turnitin, cümle düzeyindeki işaretlerinin belge puanından daha yüksek bir hata oranı taşıdığını söylemiştir ve bir süre boyunca düşük yüzdeleri o kadar oynak oldukları için hiç göstermeyi reddetmiştir.

Kısacası: belge ne kadar harmanlanmışsa hüküm o kadar bulanıktır ve rapordaki vurgulanmış cümleler, manşetteki yüzdeden bile daha fazla şüpheyi hak eder.

İnsanlaştırma puanı nasıl düşürür

Dedektörler yüksek perplexity ve burstiness'ı ödüllendiriyorsa, çözüm daha çok bir insan gibi yazmaktır: cümle uzunluğunu çeşitlendirin, daha az öngörülebilir kelime seçimleri kullanın, doğal geçişler ekleyin ve tekdüze ritmi kırın. Bunu bütün bir belgede elle yapmak yavaştır; metni yeniden yazıp o insan çeşitliliğini otomatik olarak geri kazandıran bir yapay zekâ insanlaştırıcının var olma nedeni budur.

Humanize AI gibi bir araç, model çıktısını doğal burstiness'ını ve daha az öngörülebilir ifadesini geri kazanacak şekilde yeniden ifade eder; anlamınızı korurken metnin yapay zekâ tespitini atlatmasına yardımcı olur. En önemlisi, gerçek dedektörlerden önce ve sonra puanı gösterir; böylece umut etmek yerine değişimi ölçersiniz. Amaç aldatmaca değil, nihayet size benzeyen bir yazıdır.

Bu pratikte sizin için ne anlama geliyor

Teknolojinin çalışma biçiminden doğrudan birkaç alışkanlık çıkar. Teslim etmeden önce test edin; çünkü kontrol etmek ücretsizken puanı tahmin etmeye çalışmak anlamsızdır; taslağınızı ücretsiz yapay zekâ insanlaştırıcıdan geçirip dedektör sayılarını herkesten önce görebilirsiniz. Kısa bir pasaj hakkındaki hükme asla güvenmeyin ve cümle bazlı vurguları en iyi ihtimalle zayıf kanıt olarak görün.

Dürüstçe yazıyorsanız, belgelerinizi saklayın: taslak sürümleri, notlar ve düzenleme geçmişi, herhangi bir karşı puandan çok daha iyi yazarlık kanıtıdır; özellikle de dedektörlerin güvenmediği resmî üslupta yazan, ana dili İngilizce olmayan biriyseniz. Ve belirli bir denetleyiciyle karşı karşıyaysanız, onun belirli davranışını öğrenin; özellikle Turnitin'in bilinmeye değer tuhaflıkları vardır; Turnitin rehberini bu yazının yol arkadaşı olarak yazmamızın nedeni budur.

Her şeyden önce, bir dedektörün ne olduğunu hatırlayın. O, öngörülebilirliği puanlayan, bir sağlayıcı tarafından yapılmış, bir eşiğe ayarlanmış ve her iki yönde de ölçülebilir oranda yanılan bir kalıp eşleştiricidir. Bazen faydalı. Asla kanıt değil.

Sıkça sorulan sorular