Adakah Turnitin Mengesan ChatGPT? Jawapan yang Jujur

Jawapan terus: ya, dengan kaveat penting

Turnitin telah menyertakan penunjuk penulisan AI dalam laporan persamaannya sejak April 2023, dan ia dibina khusus untuk mengesan teks daripada model bahasa besar seperti ChatGPT. Jika anda menampal jawapan ChatGPT terus ke dalam esei dan menghantarnya, kemungkinan Turnitin akan menandai sebahagian besarnya adalah sangat tinggi. Bahagian itu sudah muktamad.

Kaveatnya sama penting. Penunjuk itu ialah anggaran statistik, bukan bukti. Ia hanya berjalan pada penghantaran yang memenuhi syarat minimum, buat masa ini sekurang-kurangnya 300 patah perkataan prosa. Ia kurang boleh diharap pada dokumen campuran manusia dan AI, ia mempunyai masalah positif palsu yang terdokumen pada peringkat ayat, dan Turnitin sendiri memberitahu pensyarah bahawa skor itu tidak sepatutnya menjadi satu-satunya asas bagi keputusan salah laku akademik. Jadi bolehkah Turnitin mengesan AI? Ya. Bolehkah ia membuktikan anda menggunakannya? Tidak, dan jurang itulah tempat setiap kes sebenar diputuskan.

Cara penunjuk penulisan AI Turnitin berfungsi

Turnitin tidak membandingkan esei anda dengan pangkalan data output ChatGPT. Sebaliknya, ia memecahkan dokumen anda kepada segmen bertindih beberapa ratus perkataan, kemudian menskor setiap ayat berdasarkan sejauh mana ia boleh diramal secara statistik. Model bahasa menulis dengan berulang kali memilih perkataan seterusnya yang paling berkemungkinan, yang menghasilkan teks yang luar biasa licin, sekata dan rendah kejutan. Tulisan manusia lebih tidak teratur: panjang ayat berubah-ubah, pilihan perkataan sesekali ganjil, dan rentaknya naik dan turun.

Dua isyarat yang memacu kebanyakan proses ini ialah perplexity, iaitu sejauh mana pilihan perkataan anda boleh diramal, dan burstiness, iaitu sejauh mana struktur ayat anda berubah-ubah. Jika sesuatu petikan secara konsisten licin dan secara konsisten sekata, model itu menandai ayat-ayatnya sebagai berkemungkinan AI. Kami mengupas mekanismenya dengan lebih mendalam dalam panduan kami tentang cara pengesan AI berfungsi, tetapi poin utamanya mudah: Turnitin mengesan cap jari statistik tulisan mesin, bukan kandungan mana-mana chatbot tertentu.

Maksud sebenar skor peratusan itu

Angka yang dilihat pensyarah ialah peratusan ayat layak dalam dokumen anda yang dipercayai model itu dijana AI. Skor 40% tidak bermakna Turnitin 40% yakin anda menipu. Ia bermakna kira-kira 40% ayat prosa anda kelihatan seperti tulisan mesin kepada model itu. Kedua-duanya dakwaan yang sangat berbeza, dan mencampuradukkannya ialah kesilapan paling biasa dalam mesyuarat salah laku.

Dua perincian patut diketahui. Pertama, Turnitin memaparkan skor antara 1% dan 19% dengan asterisk kerana penyelidikannya sendiri mendapati skor rendah lebih berkemungkinan mengandungi positif palsu, dan sesetengah institusi menetapkan laporan supaya menyembunyikan julat itu sepenuhnya. Kedua, penunjuk itu mengabaikan teks yang tidak layak, seperti senarai bulet, kod, jadual dan ayat yang sangat pendek, jadi peratusan itu hanya menggambarkan sebahagian daripada dokumen anda.

Sejauh mana ketepatan pengesanan AI Turnitin?

Dakwaan terbitan Turnitin ialah penunjuk itu mengenal pasti tulisan AI dengan ketepatan sekitar 98% sambil mengekalkan kadar positif palsu peringkat dokumen di bawah 1% bagi kertas yang lebih daripada 20% teksnya dijana AI. Angka-angka itu datang daripada ujian makmal Turnitin sendiri, dan ia menggambarkan senario tertentu: teks AI yang sebahagian besarnya tidak disunting dalam prosa bahasa Inggeris.

Penelitian bebas kurang memuji. Tidak lama selepas pelancaran, Turnitin mengakui positif palsu peringkat ayat lebih tinggi daripada jangkaan, menghampiri 4% dalam dokumen yang mencampurkan tulisan manusia dan AI. Wartawan yang menguji alat itu pada 2023 mendapati ia tersandung pada esei hibrid, terlepas petikan AI dan menandai petikan manusia. Dan pada Ogos 2023, Universiti Vanderbilt secara terbuka menyahaktifkan ciri itu, dengan hujah risiko positif palsunya terlalu tinggi untuk dijadikan asas tindakan. Rumusan adil tentang ketepatan pengesanan AI Turnitin: kukuh pada output ChatGPT tulen yang tidak disunting, jelas lebih lemah pada segala-galanya di antaranya.

Apa yang sebenarnya dilihat oleh guru anda

Pelajar biasanya langsung tidak dapat melihat skor AI. Penunjuk itu muncul dalam paparan pensyarah pada laporan persamaan sebagai lencana peratusan kecil, berasingan daripada skor plagiarisme. Mengekliknya membuka laporan tempat ayat yang ditandai diserlahkan, dengan satu warna untuk teks yang dinilai dijana AI dan warna lain untuk teks yang dinilai dijana AI dan kemudian diparafrasa oleh alat.

Apa yang dilakukan pensyarah dengan skrin itu sangat berbeza-beza. Panduan Turnitin sendiri menyuruh mereka melayan skor itu sebagai isyarat untuk memulakan perbualan, bukan keputusan muktamad, dan banyak universiti telah menulis peringatan itu ke dalam dasar. Dalam amalan, skor 15% pada kertas yang sebaliknya kukuh sering diabaikan, manakala skor 80% mencetuskan penelitian lebih dekat pada sejarah draf anda, rujukan anda, dan bagaimana esei itu berbanding tulisan anda yang terdahulu. Angka itu membuka fail; manusia yang menutupnya.

Adakah Turnitin mengesan teks yang diparafrasa atau dihumanize?

Kadangkala, dan di sinilah perlumbaan senjata itu berlangsung. Pada 2024 Turnitin menambah pengesanan parafrasa AI, satu lapisan yang dilatih untuk mengesan teks yang dijana oleh LLM dan kemudian dijalankan melalui alat parafrasa. Parafrasa murahan, iaitu penukaran sinonim yang mengekalkan struktur ayat asal, ialah tepatnya apa yang ditangkap oleh lapisan ini, kerana rangka statistik teks mesin itu terselamat daripada penukaran perkataan.

Penulisan semula yang lebih mendalam ialah cerita yang berbeza. Apabila struktur ayat, rentak dan frasa benar-benar dibina semula, cap jari yang diharapkan pengesan itu pudar. Itulah bezanya antara laluan tesaurus dengan penginsanan sebenar, dan itulah sebabnya AI humanizer percuma yang serius menunjukkan skor pengesanan sebelum dan selepas dan bukannya meminta anda menerima hasilnya atas dasar kepercayaan. Menguji teks anda yang telah ditulis semula terhadap pengesan sebenar ialah satu-satunya cara jujur untuk mengetahui sama ada transformasi itu berjaya.

Adakah ia menangkap teks AI yang anda sunting sendiri?

Teks AI yang disunting secara ringan biasanya masih ditandai. Menukar segelintir perkataan, memadamkan pendahuluan, atau menyusun semula dua perenggan tidak mengubah statistik peringkat ayat yang diukur pengesan itu, jadi kebanyakan dokumen masih terbaca sebagai tulisan mesin. Pelajar kerap terkejut dengan ini: lima belas minit menggilap terasa seperti kerja sebenar, tetapi ia hampir tidak menggerakkan skor.

Teks yang ditulis semula secara besar-besaran jauh lebih sukar ditangkap, dan Turnitin sendiri mengatakannya. Dokumentasinya menyatakan kebolehpercayaan menurun pada dokumen dengan kepengarangan bercampur, dan itulah tepatnya sebab asterisk skor rendah itu wujud. Jika anda menggunakan ChatGPT untuk rangka atau draf kasar dan kemudian menulis semula setiap ayat dalam suara anda sendiri, dengan contoh anda sendiri dan peralihan anda sendiri, teks akhir itu sebahagian besarnya milik anda mengikut mana-mana ukuran statistik. Pengesan itu mahir mencari prosa mesin. Ia tiada cara untuk melihat idea di sebaliknya.

GPT-4, Claude, Gemini: adakah modelnya penting?

Kurang daripada yang anda harapkan. Turnitin melatih pengesannya pada output model bahasa besar sebagai satu kategori, bukan pada satu produk, dan setiap model sembang utama berkongsi tabiat asas yang sama: meramalkan perkataan seterusnya yang paling berkemungkinan. Output lalai daripada GPT-4o, Claude dan Gemini semuanya membawa cap jari licin dan sekata yang sama, dan ujian secara konsisten menunjukkan Turnitin menandai ketiga-tiganya pada kadar tinggi apabila teks itu tidak disunting.

Dua nuansa memang benar. Model yang lebih baharu sedikit kurang boleh diramal berbanding teks GPT-3.5 yang menjadi penalaan asal pengesan itu, jadi kadar pengesanan pada model terkehadapan boleh menurun sedikit sehingga Turnitin melatih semula, yang dilakukannya secara berkala. Dan helah gesaan seperti "tulis seperti manusia" atau "tambah burstiness" mengubah gaya permukaan jauh lebih sedikit daripada sangkaan orang, kerana model itu masih memilih perkataan berkebarangkalian tinggi di sebalik kostum itu. Menukar chatbot bukanlah strategi pengesanan.

Bagaimana pelajar sebenarnya tertangkap

Skor AI yang tinggi semata-mata jarang menenggelamkan sesiapa. Kes sebenar dibina daripada rantaian bukti, dan penunjuk itu hanyalah mata rantai pertama. Corak yang digambarkan pensyarah adalah konsisten: peratusan tinggi, ditambah dokumen tanpa sejarah versi, ditambah tulisan yang ketara lebih digilap atau lebih generik daripada kerja pelajar itu yang terdahulu, ditambah masalah kandungan seperti hujah yang kabur atau rujukan yang tidak wujud.

Yang terakhir itu wajar ditekankan. Rujukan rekaan ialah artifak paling memberatkan dalam kes salah laku AI, kerana ia tidak dapat dijelaskan oleh gaya penulisan. Skor pengesan boleh dipertikaikan; kertas yang dirujuk tetapi tidak pernah diterbitkan tidak boleh. Jika anda menggunakan alat AI langsung, dalam apa-apa kapasiti yang dibenarkan, sahkan setiap sumber dengan tangan, simpan draf anda, dan tulis dalam suara yang konsisten dengan kerja anda yang lain. Pelajar yang tertangkap hampir tidak pernah tertangkap oleh peratusan semata-mata.

Apa yang perlu dilakukan jika anda dituduh secara salah

Positif palsu berlaku, dan Turnitin mengakuinya. Penyelidikan juga telah menunjukkan bahawa pengesan AI sebagai satu kelas menandai penulis bukan natif bahasa Inggeris pada kadar yang lebih tinggi, berkemungkinan kerana bahasa Inggeris yang dipelajari dengan berhati-hati cenderung lebih seragam dan boleh diramal, tepatnya kualiti yang dibaca pengesan sebagai ciri mesin. Jika anda menulis kertas anda dengan jujur dan ditandai, anda mempunyai kedudukan yang boleh dipertahankan, jadi jangan panik dan jangan mengaku sesuatu yang tidak anda lakukan.

Bina fail bukti anda sebelum perjumpaan itu. Sejarah versi daripada Google Docs atau Word ialah artifak terkuat yang anda miliki, kerana ia menunjukkan esei itu berkembang ayat demi ayat selama berjam-jam. Tambah nota anda, rangka, sejarah penyelidikan pelayar, dan tulisan bergred terdahulu yang menunjukkan gaya anda. Minta untuk melihat laporan sebenar, dan tunjukkan kaveat terbitan Turnitin sendiri: asterisk pada skor rendah, kadar positif palsu peringkat ayat, dan kenyataan nyata syarikat itu bahawa penunjuk tersebut tidak sepatutnya digunakan sebagai bukti tunggal. Kebanyakan institusi mempunyai proses rayuan. Gunakannya dengan tenang dan secara bertulis.

Semak kerja anda sebelum anda menghantar

Inilah kekecewaan praktikalnya: pelajar tidak dapat melihat skor AI Turnitin sebelum menghantar, jadi kali pertama anda tahu ada masalah selalunya pada saat yang paling buruk. Jalan keluarnya ialah menguji draf anda terhadap pengesan bebas terlebih dahulu. Ia tidak serupa dengan Turnitin, tetapi ia mengukur isyarat statistik yang sama, dan draf yang berskor bersih merentasi berbilang pengesan sangat kecil kemungkinannya untuk menyalakan penunjuk itu.

Inilah tepatnya tujuan Humanize AI dibina. Tampal teks anda, atau muat naik fail PDF atau DOCX, dan anda mendapat skor kebarangkalian AI secara langsung daripada dua pengesan bebas sebelum anda mengubah apa-apa, kemudian skor baharu selepas penginsanan, dalam mana-mana daripada 40 bahasa, tanpa pendaftaran dan tanpa had perkataan. Jika skor anda lebih tinggi daripada jangkaan, panduan kami tentang cara memintas pengesanan AI Turnitin menerangkan cara menurunkannya secara jujur, dengan suara anda sendiri melakukan sebahagian besar kerjanya.

Soalan lazim