Turnitin ตรวจจับ ChatGPT ได้ไหม? คำตอบอย่างตรงไปตรงมา

คำตอบตรง ๆ: ได้ พร้อมข้อควรระวังสำคัญ

Turnitin ใส่ตัวชี้วัดงานเขียน AI ในรายงานความคล้ายคลึงมาตั้งแต่เมษายน 2023 และมันถูกสร้างมาเฉพาะเพื่อจับข้อความจากโมเดลภาษาขนาดใหญ่อย่าง ChatGPT ถ้าคุณวางคำตอบ ChatGPT ลงเรียงความตรง ๆ แล้วส่ง มีโอกาสสูงมากที่ Turnitin จะตีตราส่วนใหญ่ของมัน ส่วนนั้นชัดเจนแล้ว

ข้อควรระวังสำคัญไม่แพ้กัน ตัวชี้วัดเป็นการประมาณทางสถิติ ไม่ใช่หลักฐาน มันทำงานเฉพาะกับงานส่งที่ผ่านเกณฑ์ขั้นต่ำ ปัจจุบันคือร้อยแก้วอย่างน้อย 300 คำ มันน่าเชื่อถือน้อยลงกับเอกสารผสมมนุษย์กับ AI มันมีปัญหาผลบวกลวงระดับประโยคที่มีบันทึกไว้ และ Turnitin เองก็บอกผู้สอนว่าคะแนนไม่ควรเป็นฐานเดียวของการตัดสินความประพฤติมิชอบทางวิชาการ แล้ว Turnitin ตรวจจับ AI ได้ไหม? ได้ มันพิสูจน์ได้ไหมว่าคุณใช้? ไม่ได้ และช่องว่างนั้นคือที่ที่ทุกคดีจริงถูกตัดสิน

ตัวชี้วัดงานเขียน AI ของ Turnitin ทำงานอย่างไร

Turnitin ไม่ได้เทียบเรียงความของคุณกับฐานข้อมูลผลลัพธ์ ChatGPT แต่มันแบ่งเอกสารของคุณเป็นส่วนซ้อนเหลื่อมกันช่วงละไม่กี่ร้อยคำ แล้วให้คะแนนแต่ละประโยคว่าคาดเดาได้ทางสถิติแค่ไหน โมเดลภาษาเขียนด้วยการเลือกคำถัดไปที่น่าจะเป็นที่สุดซ้ำ ๆ ซึ่งผลิตข้อความที่เรียบลื่น สม่ำเสมอ และไร้ความประหลาดใจอย่างผิดปกติ งานเขียนมนุษย์ยุ่งเหยิงกว่า: ความยาวประโยคหลากหลาย คำที่เลือกบางครั้งก็แปลก และจังหวะขึ้น ๆ ลง ๆ

สองสัญญาณที่ขับเคลื่อนส่วนใหญ่ของเรื่องนี้คือ perplexity หมายถึงคำที่คุณเลือกคาดเดาได้แค่ไหน และ burstiness หมายถึงโครงสร้างประโยคของคุณแปรผันแค่ไหน ถ้าท่อนหนึ่งเรียบลื่นสม่ำเสมอตลอด โมเดลจะทำเครื่องหมายประโยคของมันว่าน่าจะเป็น AI เราอธิบายกลไกลึกกว่านี้ในคู่มือเครื่องมือตรวจจับ AI ทำงานอย่างไร แต่ประเด็นหลักเรียบง่าย: Turnitin ตรวจจับลายนิ้วมือทางสถิติของงานเขียนเครื่องจักร ไม่ใช่เนื้อหาของแชตบอตตัวใดตัวหนึ่ง

คะแนนเปอร์เซ็นต์หมายถึงอะไรกันแน่

ตัวเลขที่ผู้สอนเห็นคือสัดส่วนร้อยละของประโยคที่เข้าเกณฑ์ในเอกสารซึ่งโมเดลเชื่อว่าถูกสร้างโดย AI คะแนน 40% ไม่ได้แปลว่า Turnitin มั่นใจ 40% ว่าคุณโกง มันแปลว่าราว 40% ของประโยคร้อยแก้วของคุณดูเหมือนงานเขียนเครื่องจักรในสายตาโมเดล สองคำกล่าวอ้างนี้ต่างกันมาก และการปนกันคือความผิดพลาดที่พบบ่อยที่สุดในการประชุมเรื่องความประพฤติมิชอบ

มีสองรายละเอียดที่ควรรู้ หนึ่ง Turnitin แสดงคะแนนระหว่าง 1% ถึง 19% พร้อมดอกจัน เพราะงานวิจัยของบริษัทเองพบว่าคะแนนต่ำมีแนวโน้มปนผลบวกลวงมากกว่า และบางสถาบันตั้งค่ารายงานให้ซ่อนช่วงนั้นไปเลย สอง ตัวชี้วัดไม่นับข้อความที่ไม่เข้าเกณฑ์ เช่น รายการหัวข้อย่อย โค้ด ตาราง และประโยคสั้นมาก เปอร์เซ็นต์จึงบรรยายเอกสารของคุณเพียงบางส่วน

การตรวจจับ AI ของ Turnitin แม่นยำแค่ไหน?

คำกล่าวอ้างที่ Turnitin เผยแพร่คือตัวชี้วัดระบุงานเขียน AI ด้วยความแม่นยำราว 98% พร้อมคุมอัตราผลบวกลวงระดับเอกสารไว้ต่ำกว่า 1% สำหรับรายงานที่ข้อความมากกว่า 20% ถูกสร้างโดย AI ตัวเลขเหล่านั้นมาจากการทดสอบในแล็บของ Turnitin เอง และบรรยายสถานการณ์เฉพาะ: ข้อความ AI ที่แทบไม่ผ่านการแก้ไขในร้อยแก้วภาษาอังกฤษ

การตรวจสอบอิสระไม่ค่อยยกยอเท่าไร ไม่นานหลังเปิดตัว Turnitin ยอมรับว่าผลบวกลวงระดับประโยคสูงกว่าที่คาด เข้าใกล้ 4% ในเอกสารที่ผสมงานเขียนมนุษย์กับ AI นักข่าวที่ทดสอบเครื่องมือในปี 2023 พบว่ามันสะดุดกับเรียงความลูกผสม พลาดท่อน AI และตีตราท่อนมนุษย์ และในเดือนสิงหาคม 2023 มหาวิทยาลัย Vanderbilt ปิดฟีเจอร์นี้อย่างเปิดเผย โดยให้เหตุผลว่าความเสี่ยงผลบวกลวงสูงเกินกว่าจะใช้ตัดสินใจ บทสรุปที่เป็นธรรมของความแม่นยำการตรวจจับ AI ของ Turnitin: แข็งแรงกับผลลัพธ์ ChatGPT ล้วน ๆ ที่ไม่ผ่านการแก้ไข อ่อนลงอย่างมีนัยสำคัญกับทุกอย่างที่อยู่ระหว่างกลาง

ครูของคุณเห็นอะไรกันแน่

ปกตินักเรียนมองไม่เห็นคะแนน AI เลย ตัวชี้วัดปรากฏในมุมมองผู้สอนของรายงานความคล้ายคลึงเป็นป้ายเปอร์เซ็นต์เล็ก ๆ แยกจากคะแนนการคัดลอกผลงาน คลิกแล้วจะเปิดรายงานที่ประโยคที่ถูกตีตราถูกไฮไลต์ สีหนึ่งสำหรับข้อความที่ถูกตัดสินว่าสร้างโดย AI และอีกสีสำหรับข้อความที่ถูกตัดสินว่าสร้างโดย AI แล้วถูกถอดความด้วยเครื่องมือ

ผู้สอนทำอะไรกับหน้าจอนั้นแตกต่างกันมหาศาล แนวทางของ Turnitin เองบอกให้ปฏิบัติต่อคะแนนเป็นสัญญาณเริ่มบทสนทนา ไม่ใช่คำพิพากษา และมหาวิทยาลัยหลายแห่งเขียนความระมัดระวังนั้นลงนโยบายแล้ว ในทางปฏิบัติ คะแนน 15% บนรายงานที่โดยรวมแข็งแรงมักถูกมองข้าม ขณะที่คะแนน 80% จุดชนวนการดูใกล้ชิดขึ้นทั้งประวัติฉบับร่าง การอ้างอิง และการเทียบเรียงความกับงานเขียนก่อนหน้าของคุณ ตัวเลขเปิดแฟ้ม มนุษย์เป็นคนปิด

Turnitin ตรวจจับข้อความที่ถูกถอดความหรือทำให้เป็นธรรมชาติได้ไหม?

บางครั้งได้ และนี่คือสมรภูมิของการแข่งขันสะสมอาวุธ ปี 2024 Turnitin เพิ่มการตรวจจับการถอดความ AI ชั้นที่ถูกฝึกให้จับข้อความที่ถูกสร้างโดย LLM แล้วผ่านเครื่องมือถอดความ การถอดความแบบถูก ๆ หมายถึงการสลับคำพ้องความหมายที่คงโครงสร้างประโยคเดิมไว้ คือสิ่งที่ชั้นนี้จับได้พอดี เพราะโครงกระดูกทางสถิติของข้อความเครื่องจักรรอดจากการเปลี่ยนคำ

การเขียนใหม่ที่ลึกกว่าเป็นคนละเรื่อง เมื่อโครงสร้างประโยค จังหวะ และการใช้ถ้อยคำถูกสร้างขึ้นใหม่จริง ลายนิ้วมือที่เครื่องมือตรวจจับพึ่งพาจะจางลง นั่นคือความต่างระหว่างการกวาดพจนานุกรมคำพ้องกับการทำให้เป็นธรรมชาติของจริง และเป็นเหตุผลที่เครื่องมือทำข้อความ AI ให้เป็นธรรมชาติฟรีที่จริงจังแสดงคะแนนการตรวจจับก่อนและหลังแทนที่จะขอให้คุณเชื่อผลลัพธ์ลอย ๆ การทดสอบข้อความที่เขียนใหม่กับเครื่องมือตรวจจับจริงคือทางเดียวที่ซื่อสัตย์ในการรู้ว่าการแปลงสำเร็จหรือไม่

มันจับข้อความ AI ที่คุณแก้เองได้ไหม?

ข้อความ AI ที่แก้ไขเบา ๆ มักยังถูกตีตรา การเปลี่ยนคำหยิบมือหนึ่ง ลบบทนำ หรือสลับสองย่อหน้าไม่ได้เปลี่ยนสถิติระดับประโยคที่เครื่องมือตรวจจับวัด เอกสารส่วนใหญ่จึงยังอ่านเป็นงานเขียนเครื่องจักร นักเรียนแปลกใจกับเรื่องนี้เป็นประจำ: การขัดเกลาสิบห้านาทีรู้สึกเหมือนงานจริง แต่มันแทบไม่ขยับคะแนน

ข้อความที่เขียนใหม่อย่างหนักจับยากกว่ามาก และ Turnitin ก็พูดเอง เอกสารของบริษัทระบุว่าความน่าเชื่อถือลดลงกับเอกสารที่มีผู้ประพันธ์ผสม ซึ่งเป็นเหตุผลที่ดอกจันคะแนนต่ำมีอยู่พอดี ถ้าคุณใช้ ChatGPT ทำโครงเรื่องหรือร่างหยาบ แล้วเขียนทุกประโยคใหม่ด้วยน้ำเสียงของคุณเอง ด้วยตัวอย่างของคุณเองและการเชื่อมโยงของคุณเอง ข้อความสุดท้ายก็เป็นของคุณเป็นส่วนใหญ่ตามมาตรวัดสถิติใด ๆ เครื่องมือตรวจจับเก่งในการหาร้อยแก้วเครื่องจักร แต่มันไม่มีทางมองเห็นความคิดที่อยู่ข้างใต้

GPT-4, Claude, Gemini: โมเดลสำคัญไหม?

สำคัญน้อยกว่าที่คุณหวัง Turnitin ฝึกเครื่องมือตรวจจับกับผลลัพธ์ของโมเดลภาษาขนาดใหญ่ในฐานะหมวดหมู่ ไม่ใช่ผลิตภัณฑ์เดียว และโมเดลแชตหลักทุกตัวมีนิสัยพื้นฐานเดียวกัน: ทำนายคำถัดไปที่น่าจะเป็นที่สุด ผลลัพธ์ค่าเริ่มต้นจาก GPT-4o, Claude และ Gemini ล้วนมีลายนิ้วมือเรียบลื่นสม่ำเสมอแบบเดียวกัน และการทดสอบแสดงต่อเนื่องว่า Turnitin ตีตราทั้งสามในอัตราสูงเมื่อข้อความไม่ผ่านการแก้ไข

มีสองข้อปลีกย่อยที่จริง โมเดลใหม่กว่าคาดเดาได้น้อยกว่าข้อความ GPT-3.5 ที่เครื่องมือตรวจจับถูกจูนไว้แต่แรกเล็กน้อย อัตราการตรวจจับกับโมเดลแนวหน้าจึงอาจหย่อนลงนิดหน่อยจนกว่า Turnitin จะฝึกซ้ำ ซึ่งทำเป็นประจำ และทริกพรอมป์ตอย่าง "เขียนเหมือนมนุษย์" หรือ "เพิ่ม burstiness" เปลี่ยนสไตล์ผิวเผินน้อยกว่าที่คนคิดมาก เพราะโมเดลยังเลือกคำความน่าจะเป็นสูงอยู่ใต้เครื่องแต่งกาย การสลับแชตบอตไม่ใช่กลยุทธ์หลบการตรวจจับ

นักเรียนถูกจับได้จริง ๆ อย่างไร

คะแนน AI สูงอย่างเดียวแทบไม่เคยจมใคร คดีจริงถูกสร้างจากห่วงโซ่หลักฐาน และตัวชี้วัดเป็นเพียงข้อแรก แพตเทิร์นที่ผู้สอนบรรยายสอดคล้องกัน: เปอร์เซ็นต์สูง บวกเอกสารที่ไม่มีประวัติเวอร์ชัน บวกงานเขียนที่ขัดเงาหรือเป็นกลาง ๆ กว่างานก่อนหน้าของนักเรียนอย่างเห็นได้ชัด บวกปัญหาเนื้อหาอย่างข้อโต้แย้งคลุมเครือหรือการอ้างอิงที่ไม่มีอยู่จริง

ข้อสุดท้ายควรเน้น เอกสารอ้างอิงที่กุขึ้นคือหลักฐานชี้โทษที่สุดในคดีความประพฤติมิชอบเรื่อง AI เพราะอธิบายด้วยสไตล์การเขียนไม่ได้ คะแนนเครื่องมือตรวจจับยังเถียงได้ แต่งานวิจัยที่ถูกอ้างทั้งที่ไม่เคยตีพิมพ์เถียงไม่ได้ ถ้าคุณใช้เครื่องมือ AI ไม่ว่าในรูปแบบใดที่ได้รับอนุญาต จงตรวจทุกแหล่งอ้างอิงด้วยมือ เก็บฉบับร่างไว้ และเขียนด้วยน้ำเสียงที่สอดคล้องกับงานส่วนอื่นของคุณ นักเรียนที่ถูกจับได้แทบไม่เคยถูกจับเพราะเปอร์เซ็นต์เพียงลำพัง

ควรทำอย่างไรถ้าถูกกล่าวหาอย่างไม่เป็นธรรม

ผลบวกลวงเกิดขึ้นจริง และ Turnitin ก็ยอมรับ งานวิจัยยังแสดงว่าเครื่องมือตรวจจับ AI โดยรวมตีตราผู้เขียนที่ไม่ใช่เจ้าของภาษาอังกฤษในอัตราสูงกว่า น่าจะเพราะภาษาอังกฤษที่เรียนมาอย่างระมัดระวังมักสม่ำเสมอและคาดเดาได้กว่า ซึ่งเป็นคุณสมบัติที่เครื่องมือตรวจจับอ่านว่าเหมือนเครื่องจักรพอดี ถ้าคุณเขียนรายงานอย่างซื่อสัตย์แล้วถูกตีตรา คุณมีจุดยืนที่ปกป้องได้ อย่าตื่นตระหนกและอย่าสารภาพในสิ่งที่คุณไม่ได้ทำ

สร้างแฟ้มหลักฐานก่อนเข้าประชุม ประวัติเวอร์ชันจาก Google Docs หรือ Word คือหลักฐานที่แข็งแรงที่สุดที่คุณมี เพราะมันแสดงเรียงความเติบโตทีละประโยคตลอดหลายชั่วโมง เพิ่มโน้ต โครงเรื่อง ประวัติการค้นคว้าในเบราว์เซอร์ และงานเขียนที่เคยได้รับเกรดก่อนหน้าที่แสดงสไตล์ของคุณ ขอดูรายงานตัวจริง และชี้ไปที่ข้อควรระวังที่ Turnitin เผยแพร่เอง: ดอกจันบนคะแนนต่ำ อัตราผลบวกลวงระดับประโยค และคำแถลงชัดเจนของบริษัทว่าตัวชี้วัดไม่ควรถูกใช้เป็นหลักฐานเดียว สถาบันส่วนใหญ่มีกระบวนการอุทธรณ์ ใช้มันอย่างใจเย็นและเป็นลายลักษณ์อักษร

ตรวจงานของคุณก่อนส่ง

นี่คือความหงุดหงิดในทางปฏิบัติ: นักเรียนมองไม่เห็นคะแนน AI ของ Turnitin ก่อนส่ง ครั้งแรกที่คุณรู้ว่ามีปัญหาจึงมักเป็นจังหวะที่แย่ที่สุด ทางออกคือทดสอบฉบับร่างกับเครื่องมือตรวจจับอิสระก่อน พวกมันไม่เหมือน Turnitin เป๊ะ แต่วัดสัญญาณทางสถิติเดียวกัน และฉบับร่างที่คะแนนสะอาดในเครื่องมือตรวจจับหลายตัวมีโอกาสน้อยมากที่จะทำให้ตัวชี้วัดสว่างขึ้น

นี่คือสิ่งที่ Humanize AI ถูกสร้างมาเพื่อทำพอดี วางข้อความ หรืออัปโหลดไฟล์ PDF หรือ DOCX แล้วคุณจะได้คะแนนความน่าจะเป็น AI แบบสดจากเครื่องมือตรวจจับอิสระสองตัวก่อนแก้อะไรทั้งนั้น แล้วได้คะแนนใหม่หลังทำให้เป็นธรรมชาติ ในภาษาใดก็ได้จาก 40 ภาษา ไม่ต้องสมัครและไม่มีลิมิตคำ ถ้าคะแนนสูงกว่าที่คาด คู่มือของเราเรื่องวิธีหลบเลี่ยงการตรวจจับ AI ของ Turnitin พาไล่วิธีลดมันอย่างซื่อสัตย์ โดยให้น้ำเสียงของคุณเองทำงานส่วนใหญ่

คำถามที่พบบ่อย