Cara Detektor AI Sebenarnya Bekerja (dan Mengapa Tulisan Anda Ditandai)

Apa yang sebenarnya diukur detektor AI

Detektor AI tidak tahu siapa yang menulis sebuah kalimat. Ia tidak pernah melihat dokumen Anda sebelumnya, dan ia tidak bisa memeriksanya terhadap basis data tersembunyi berisi keluaran ChatGPT. Sebaliknya, ia menilai seberapa dapat diprediksi teks Anda dibandingkan pola yang cenderung dihasilkan model bahasa besar.

Detektor modern sendiri adalah model machine learning yang dilatih dengan jutaan teks manusia dan AI. Mereka mencari sidik jari statistik yang ditinggalkan proses penghasilan teks, lalu mengeluarkan sebuah probabilitas. Tidak ada satu pun bagian dari alur itu yang memverifikasi kepengarangan. Detektor tidak bisa melihat riwayat browser Anda atau mengawasi Anda mengetik; ia hanya bisa mengatakan bahwa teks Anda mirip, atau tidak mirip, dengan tulisan mesin yang menjadi bahan latihannya.

Bayangkan seperti filter spam. Ia telah belajar seperti apa biasanya surat sampah, sehingga ia menandai pesan yang punya ciri-ciri itu, tetapi ia tidak pernah bisa yakin tentang satu email tertentu. Deteksi AI bekerja dengan cara yang sama, yang berarti setiap skor adalah dugaan yang dibungkus angka. Itu juga mengubah cara Anda seharusnya membaca hasil: "85% AI" tidak berarti 85% teks Anda ditulis mesin. Artinya, detektor cukup yakin terhadap sebuah tebakan.

Perplexity: seberapa mengejutkan pilihan kata Anda

Perplexity adalah sinyal yang paling penting. Ia mengukur seberapa terkejut sebuah model bahasa terhadap setiap kata yang Anda pilih. Jika setiap kata berikutnya persis seperti yang akan diprediksi model, perplexity-nya rendah, dan teks tampak seperti tulisan mesin. Manusia lebih sulit diprediksi: kita memakai kata sifat yang tak lazim, melanggar aturan, atau merangkai kalimat dengan cara yang agak canggung, dan setiap pilihan itu mendorong perplexity naik.

Sepasang contoh konkret membuatnya terlihat. Kalimat pertama: "Olahraga teratur itu penting karena meningkatkan kesehatan fisik dan mental." Kalimat kedua: "Saya terus berolahraga karena lutut saya jadi jarang protes dan kotak masuk saya terasa tidak semenakutkan itu setelahnya." Keduanya gramatikal dan menyampaikan poin dasar yang sama, tetapi kalimat pertama dirakit seluruhnya dari kata-kata yang akan diberi peringkat tertinggi oleh model bahasa sebagai pilihan berikutnya yang paling mungkin; "olahraga teratur itu penting karena" nyaris seperti templat. Kalimat kedua mengambil risiko kecil: lutut yang protes, kotak masuk yang menakutkan. Model yang menilai probabilitas kata demi kata menganggap kalimat pertama tidak mengejutkan dan kalimat kedua sungguh sulit diprediksi, sehingga yang pertama terbaca sebagai AI dan yang kedua terbaca sebagai manusia.

Inilah juga alasan tulisan yang rapi dan generik ikut ditandai meski setiap katanya ditulis manusia. Perplexity tidak mengukur usaha atau kejujuran, hanya keterdugaan, dan sebagian tulisan manusia yang sepenuhnya asli memang sangat mudah diprediksi.

Burstiness: ritme tulisan yang sesungguhnya

Burstiness mengukur variasi struktur dan panjang kalimat. Orang menulis dalam letupan: kalimat panjang yang berkelok diikuti kalimat pendek. Tiga kata saja. Lalu klausa kompleks yang padat detail dan mengalir lebih panjang daripada yang semestinya.

Keluaran AI lebih mulus. Dibiarkan pada pengaturan bawaannya, model menghasilkan kalimat yang panjangnya berkisar di angka yang sama, dibuka dengan konstruksi serupa, dan mendarat dengan irama rata yang sama, paragraf demi paragraf. Sandingkan keduanya dan Anda sering bisa melihat bedanya sebelum membaca satu kata pun: teks manusia tampak bergerigi di halaman, teks mesin tampak seperti susunan bata.

Detektor mengukur kegerigian itu. Burstiness rendah plus perplexity rendah adalah tanda tangan klasik AI, dan ketika keduanya hadir, detektor menjadi yakin teks itu hasil mesin, meskipun topik dan tata bahasanya sempurna. Namun, masing-masing sinyal sendirian itu lemah. Penyair menulis dengan burstiness liar dan pengacara kontrak nyaris tanpa burstiness, dan keduanya manusia, itulah sebabnya alat yang serius selalu menggabungkan kedua sinyal.

Probabilitas token di balik layar

Model bahasa menulis satu token pada satu waktu, dan setiap token membawa skor probabilitas. Detektor memperkirakan probabilitas ini dan memeriksa apakah teks Anda berada di dalam "zona nyaman" pilihan yang paling mungkin bagi model. Ketika sebuah bagian dibangun hampir seluruhnya dari token berprobabilitas tinggi yang disusun dalam ritme rata, ia cocok dengan cara ChatGPT, Gemini, dan Claude menghasilkan teks secara bawaan, dan detektor mengubah pola itu menjadi persentase yang Anda lihat.

Ini juga menjelaskan mengapa cuplikan pendek tidak andal untuk diuji. Dengan hanya satu atau dua kalimat, sinyalnya tidak cukup untuk memisahkan manusia yang cermat dari sebuah model, sehingga skornya berayun liar. Sebagian besar vendor diam-diam sepakat: beberapa menolak menilai apa pun di bawah beberapa ratus kata, karena di bawah panjang itu hitungannya lebih mirip lempar koin daripada pengukuran.

Detektor statistik vs detektor berbasis classifier

Alat deteksi terbagi dalam dua keluarga, dan mengetahui mana yang Anda hadapi menjelaskan banyak hasil yang aneh. Detektor statistik menggunakan model bahasa acuan untuk menghitung probabilitas secara langsung: mereka menjalankan teks Anda melalui model itu, mengukur perplexity, burstiness, dan besaran terkait, lalu menerapkan ambang batas. Metode riset seperti GLTR dan DetectGPT bekerja dengan cara ini, begitu pula penilaian di balik banyak pemeriksa gratis. Kekuatannya, mereka tidak butuh data latihan berlabel; kelemahannya, vonisnya sangat bergantung pada model acuan mana yang melakukan penilaian.

Detektor berbasis classifier justru dilatih. Vendor mengumpulkan korpus besar teks yang diketahui buatan manusia dan buatan AI, lalu menyetel sebuah model, sering kali transformer bergaya RoBERTa, untuk membedakan keduanya. Turnitin, Originality.ai, dan Copyleaks dibangun dengan cara ini. Classifier menangkap isyarat halus di luar perplexity mentah, sehingga cenderung lebih akurat pada teks yang mirip data latihannya, tetapi kinerjanya menurun pada tulisan dari model yang lebih baru, bahasa lain, atau ranah yang tidak pernah mereka lihat, dan tidak ada orang di luar vendor yang bisa memeriksa apa yang sebenarnya mereka pelajari.

Sebagian besar produk komersial kini merupakan hibrida dari kedua pendekatan, salah satu alasan skor mereka sulit ditafsirkan dan lebih sulit lagi dibandingkan antaralat.

Mengapa keluaran ChatGPT, Gemini, dan Claude ditandai

Model-model terdepan dilatih untuk menjadi jelas, aman, dan fasih, dan babak akhir pelatihan itu memberi imbalan pada jawaban yang dinilai paling apik oleh mayoritas penilai. Itu mendorong keluarannya ke arah kalimat yang seimbang, transisi rapi seperti "selain itu" dan "sebagai kesimpulan", serta kosakata yang bertahan di tengah-tengah jalur statistik.

Kualitas yang sama itulah yang persis diburu detektor. Semakin rapi dan "rata-rata" tulisannya, semakin rendah perplexity dan burstiness-nya, dan semakin tinggi skor AI-nya. Ironisnya, draf mentah manusia yang penuh salah ketik dan keunikan sering lolos lebih mudah daripada draf pertama AI yang bersih, karena cacat itulah yang membawa sinyal manusia.

Apa yang sebenarnya diperiksa GPTZero, Turnitin, ZeroGPT, dan lainnya

Alat-alat besar berbagi logika inti yang sama tetapi menyetelnya secara berbeda. GPTZero memopulerkan penilaian perplexity dan burstiness serta melaporkan keduanya di tingkat kalimat. Turnitin AI mengintegrasikan deteksi ke dalam paket antiplagiarismenya untuk sekolah, memecah dokumen menjadi segmen-segmen yang saling tumpang tindih dan menandai bagian yang diyakini classifier-nya ditulis model.

ZeroGPT menawarkan pembacaan per kalimat yang cepat dan gratis, sementara Originality.ai membidik penerbit dan tim SEO dengan skor ketat berbobot tingkat keyakinan. Copyleaks menekankan cakupan multibahasa dan pelaporan kelas perusahaan. Semuanya probabilistik, itulah sebabnya tak satu pun bisa jujur mengklaim sempurna, dan mengapa pemasaran akurasi tiap vendor diam-diam menggambarkan pengujian yang dirancang vendor itu sendiri.

Mengapa detektor saling tidak sepakat

Tempelkan esai yang sama ke tiga detektor dan Anda bisa mendapat 2% AI dari satu alat, 45% dari yang lain, dan 88% dari yang ketiga. Rentang itu bukan bug pada salah satunya; itulah yang terjadi ketika sistem yang berbeda membuat tebakan berbeda dari bukti yang sama.

Setiap alat dilatih pada korpusnya sendiri, menilai dengan model acuannya sendiri, memotong teks secara berbeda (seluruh dokumen versus kalimat demi kalimat), dan menetapkan ambangnya sendiri untuk apa yang dihitung sebagai "kemungkinan AI". Alat yang dikalibrasi untuk menghindari tuduhan keliru akan berjalan konservatif dan kurang menandai; alat yang dijual untuk menangkap penyontek akan berjalan agresif dan menandai berlebihan pada teks yang sama. Mereka juga diperbarui pada jadwal berbeda, sehingga detektor yang disetel sebelum sebuah model baru rilis akan salah menilai gaya model itu selama berbulan-bulan.

Pelajaran praktisnya, tidak ada satu skor pun yang definitif, dan ketidaksepakatan antaralat adalah bukti langsung betapa besar porsi tebakannya. Jika sekolah Anda memeriksa dengan Turnitin, hanya vonis Turnitin yang berarti, dan skor bersih di tempat lain tidak memprediksi ataupun melindungi Anda darinya.

Positif palsu: angka-angka yang dipublikasikan

Karena detektor menilai keterdugaan, mereka rutin salah tembak, dan kesalahan itu bukan hipotesis. Classifier milik OpenAI sendiri, diluncurkan Januari 2023, hanya mengenali 26% teks tulisan AI sambil salah melabeli 9% teks manusia sebagai AI, dan perusahaan itu memensiunkannya dalam enam bulan karena akurasinya rendah. Turnitin mengklaim tingkat positif palsu di level dokumen di bawah 1%, tetapi mengakui bahwa kalimat-kalimat individual yang ditandai jauh kurang andal, itulah sebabnya ia menahan skor pada dokumen yang hanya berisi sedikit teks yang dicurigai AI.

Temuan yang paling merisaukan menyangkut penutur bahasa Inggris nonasli. Peneliti Stanford menguji tujuh detektor populer pada esai yang ditulis siswa sungguhan untuk ujian TOEFL dan menemukan bahwa, rata-rata, 61% esai tulisan manusia ini ditandai sebagai buatan AI, dan hampir semuanya ditandai oleh setidaknya satu detektor. Esai siswa AS penutur asli melewati alat yang sama nyaris tanpa tersentuh.

Mekanismenya persis seperti yang digambarkan artikel ini: penulis yang bekerja dalam bahasa kedua cenderung memakai kosakata yang lebih aman dan struktur kalimat yang lebih teratur, yang menurunkan perplexity, yang lalu terbaca sebagai teks mesin. Biasnya tertanam dalam metodenya sendiri. Karena itulah sekolah yang bertanggung jawab memperlakukan skor detektor sebagai awal percakapan, bukan sebagai bukti. Angka bukanlah bukti.

Watermarking: solusi yang belum juga dirilis

Para peneliti sudah lama berargumen bahwa solusi sesungguhnya adalah watermarking: membuat model AI itu sendiri menanamkan tanda tangan statistik tak kasatmata saat teks dihasilkan. Dalam skema yang paling terkenal, model diam-diam memfavoritkan "daftar hijau" token yang berotasi saat menulis. Pembaca tidak bisa melihat polanya, tetapi detektor yang memegang kuncinya bisa mengujinya dengan akurasi yang jauh lebih baik daripada menebak lewat perplexity.

Sebagian besar belum dirilis. OpenAI membangun watermarker teks yang dilaporkan secara internal efektif sekitar 99,9% pada bagian teks panjang, dan menahannya, dengan alasan kekhawatiran bahwa parafrasa atau terjemahan menghapus tandanya, bahwa itu bisa menstigmatisasi penutur nonasli yang secara sah memakai AI untuk memoles tulisan, dan, alasan yang kurang mulia, bahwa pengguna akan begitu saja pindah ke alat yang tidak memberi watermark. SynthID-Text milik Google adalah pengecualian, berjalan di dalam Gemini dan dirilis sebagai open source, tetapi ia hanya menandai keluaran Gemini sendiri.

Itulah masalah intinya: watermark hanya mencakup model yang pembuatnya mau bekerja sama, dan model berbobot terbuka yang bisa dijalankan siapa saja secara lokal tidak akan pernah membawanya. Jadi detektor yang dipakai sekolah atau kantor Anda hari ini masih mengerjakan statistik, bukan membaca watermark, dengan segala ketidakpastian yang menyertainya.

Cara detektor menangani campuran teks manusia dan AI

Dokumen nyata jarang seragam seluruhnya. Seorang mahasiswa menulis pendahuluan dengan tangan, meminta ChatGPT mengembangkan dua paragraf isi, lalu menyunting keseluruhannya. Detektor menghadapi ini dengan menggeser jendela penilaian di sepanjang dokumen, menilai tiap kalimat atau segmen secara terpisah, dan menyorot bentangan yang tampak dihasilkan mesin.

Pencampuran melemahkan setiap sinyal. Suntingan manusia di dalam paragraf AI menaikkan perplexity-nya; kalimat AI di dalam bagian manusia menyeret ritmenya ke arah keseragaman. Hasilnya adalah skor menengah yang bisa berarti "separuh AI" atau "seluruhnya manusia, tetapi gaya menulisnya aneh", dan sorotan per kalimat jelas kurang andal dibanding angka keseluruhannya. Turnitin, misalnya, pernah menyatakan bahwa penanda level kalimatnya membawa tingkat kesalahan lebih tinggi daripada skor dokumennya, dan untuk beberapa waktu ia menolak menampilkan persentase rendah sama sekali karena begitu goyah.

Singkatnya: semakin berbaur dokumennya, semakin buram vonisnya, dan kalimat-kalimat yang disorot dalam laporan pantas mendapat skeptisisme yang lebih besar lagi daripada persentase utamanya.

Bagaimana pemanusiaan teks menurunkan skor

Jika detektor mengganjar perplexity dan burstiness yang tinggi, solusinya adalah menulis lebih seperti manusia: variasikan panjang kalimat, gunakan pilihan kata yang tak mudah ditebak, tambahkan transisi alami, dan pecahkan ritme yang seragam. Melakukan ini secara manual di seluruh dokumen itu lambat, itulah sebabnya AI humanizer hadir untuk menulis ulang teks dan mengembalikan variasi manusiawi itu secara otomatis.

Alat seperti Humanize AI merangkai ulang keluaran model sehingga mendapatkan kembali burstiness alami dan frasa yang tak mudah ditebak, membantunya melewati deteksi AI sambil menjaga makna Anda tetap utuh. Yang terpenting, ia menunjukkan skor sebelum dan sesudah dari detektor sungguhan, sehingga Anda mengukur perubahannya alih-alih sekadar berharap. Tujuannya bukan penipuan, melainkan tulisan yang akhirnya terdengar seperti Anda.

Apa artinya ini bagi Anda dalam praktik

Beberapa kebiasaan lahir langsung dari cara teknologi ini bekerja. Uji sebelum mengumpulkan, karena menebak-nebak skor itu sia-sia ketika memeriksanya gratis; Anda bisa menjalankan draf Anda melalui AI humanizer gratis dan melihat angka detektornya sebelum orang lain melihatnya. Jangan pernah percaya vonis pada bagian teks pendek, dan perlakukan sorotan level kalimat sebagai bukti yang paling banter lemah.

Jika Anda menulis dengan jujur, simpan jejaknya: versi draf, catatan, dan riwayat penyuntingan adalah bukti kepengarangan yang jauh lebih baik daripada skor tandingan mana pun, terutama jika Anda penutur nonasli yang menulis dalam register formal yang dicurigai detektor. Dan jika Anda menghadapi pemeriksa tertentu, pelajari perilaku spesifiknya; Turnitin khususnya punya keunikan yang layak diketahui, itulah sebabnya kami menulis panduan Turnitin sebagai pendamping artikel ini.

Di atas segalanya, ingat apa itu detektor. Ia adalah pencocok pola yang menilai keterdugaan, dibuat oleh vendor, disetel pada sebuah ambang, dan keliru pada tingkat yang terukur di kedua arah. Berguna, kadang-kadang. Bukti, tidak pernah.

Pertanyaan yang sering diajukan