Turnitin có phát hiện được ChatGPT không? Câu trả lời trung thực

Câu trả lời trực tiếp: có, kèm những lưu ý quan trọng

Turnitin đã đưa chỉ báo văn bản AI vào báo cáo tương đồng từ tháng 4 năm 2023, và nó được xây dựng riêng để nhận ra văn bản từ các mô hình ngôn ngữ lớn như ChatGPT. Nếu bạn dán nguyên câu trả lời của ChatGPT vào bài luận và nộp, khả năng rất cao Turnitin sẽ gắn cờ phần lớn nội dung đó. Phần này đã rõ ràng.

Nhưng các lưu ý cũng quan trọng không kém. Chỉ báo này là một ước tính thống kê, không phải bằng chứng. Nó chỉ chạy trên các bài nộp đạt yêu cầu tối thiểu, hiện tại là ít nhất 300 từ văn xuôi. Nó kém tin cậy hơn với tài liệu pha trộn giữa người và AI, nó có vấn đề dương tính giả đã được ghi nhận ở cấp câu, và chính Turnitin nói với giảng viên rằng điểm số này không bao giờ được là cơ sở duy nhất cho một quyết định về vi phạm liêm chính học thuật. Vậy Turnitin có phát hiện được AI không? Có. Nó có chứng minh được bạn đã dùng AI không? Không, và khoảng trống đó là nơi mọi vụ việc thực tế được phân xử.

Chỉ báo văn bản AI của Turnitin hoạt động như thế nào

Turnitin không so sánh bài luận của bạn với một cơ sở dữ liệu các câu trả lời của ChatGPT. Thay vào đó, nó chia tài liệu của bạn thành các đoạn chồng lấn vài trăm từ, rồi chấm điểm từng câu dựa trên mức độ dễ đoán về mặt thống kê. Các mô hình ngôn ngữ viết bằng cách liên tục chọn từ tiếp theo có xác suất cao nhất, tạo ra văn bản mượt mà, đều đặn và ít bất ngờ một cách khác thường. Văn viết của con người lộn xộn hơn: độ dài câu thay đổi, cách chọn từ đôi khi lạ lẫm, và nhịp điệu lên xuống.

Hai tín hiệu chi phối phần lớn quá trình này là perplexity, tức mức độ dễ đoán của cách chọn từ, và burstiness, tức mức độ biến đổi trong cấu trúc câu của bạn. Nếu một đoạn văn mượt đều và đơn điệu một cách nhất quán, mô hình sẽ đánh dấu các câu trong đó là có khả năng do AI viết. Chúng tôi phân tích cơ chế này sâu hơn trong hướng dẫn về cách máy phát hiện AI hoạt động, nhưng điểm mấu chốt rất đơn giản: Turnitin phát hiện dấu vân tay thống kê của văn bản máy viết, chứ không phải nội dung của bất kỳ chatbot cụ thể nào.

Điểm phần trăm thực sự có nghĩa là gì

Con số giảng viên nhìn thấy là tỷ lệ phần trăm các câu đủ điều kiện trong tài liệu mà mô hình tin là do AI tạo ra. Điểm 40% không có nghĩa Turnitin tin chắc 40% rằng bạn gian lận. Nó có nghĩa là khoảng 40% các câu văn xuôi của bạn trông giống văn bản máy viết đối với mô hình. Đó là hai khẳng định rất khác nhau, và nhầm lẫn giữa chúng là sai lầm phổ biến nhất trong các buổi làm việc về vi phạm học thuật.

Có hai chi tiết đáng biết. Thứ nhất, Turnitin hiển thị điểm từ 1% đến 19% kèm dấu hoa thị vì nghiên cứu của chính họ cho thấy điểm thấp dễ chứa dương tính giả hơn, và một số cơ sở giáo dục cấu hình báo cáo để ẩn hoàn toàn dải điểm này. Thứ hai, chỉ báo bỏ qua phần văn bản không đủ điều kiện, như danh sách gạch đầu dòng, mã nguồn, bảng biểu và các câu rất ngắn, nên con số phần trăm chỉ mô tả một phần tài liệu của bạn.

Phát hiện AI của Turnitin chính xác đến mức nào?

Turnitin công bố rằng chỉ báo nhận diện văn bản AI với độ chính xác khoảng 98% trong khi giữ tỷ lệ dương tính giả cấp tài liệu dưới 1% đối với các bài có hơn 20% văn bản do AI tạo. Những con số đó đến từ thử nghiệm nội bộ của Turnitin, và chúng mô tả một kịch bản cụ thể: văn bản AI gần như chưa chỉnh sửa, bằng văn xuôi tiếng Anh.

Sự soi xét độc lập kém tích cực hơn. Không lâu sau khi ra mắt, Turnitin thừa nhận dương tính giả ở cấp câu cao hơn dự kiến, gần 4% ở các tài liệu pha trộn giữa văn của người và AI. Các nhà báo thử nghiệm công cụ này năm 2023 thấy nó lúng túng với các bài luận lai, bỏ sót đoạn AI và gắn cờ đoạn do người viết. Và vào tháng 8 năm 2023, Đại học Vanderbilt công khai tắt tính năng này, cho rằng rủi ro dương tính giả quá cao để dựa vào. Tóm tắt công bằng về độ chính xác phát hiện AI của Turnitin: mạnh với đầu ra ChatGPT thuần túy chưa chỉnh sửa, yếu đi rõ rệt với mọi thứ nằm ở giữa.

Giáo viên của bạn thực sự nhìn thấy gì

Sinh viên thường hoàn toàn không nhìn thấy điểm AI. Chỉ báo xuất hiện trong giao diện của giảng viên trên báo cáo tương đồng dưới dạng một huy hiệu phần trăm nhỏ, tách biệt với điểm đạo văn. Nhấp vào đó sẽ mở một báo cáo trong đó các câu bị gắn cờ được tô sáng, với một màu cho văn bản bị đánh giá là do AI tạo và một màu khác cho văn bản bị đánh giá là do AI tạo rồi được diễn đạt lại bằng công cụ.

Giảng viên làm gì với màn hình đó thì khác nhau rất nhiều. Hướng dẫn của chính Turnitin bảo họ coi điểm số như một tín hiệu để bắt đầu cuộc trao đổi, không phải một phán quyết, và nhiều trường đại học đã đưa sự thận trọng đó vào quy định. Trên thực tế, điểm 15% trên một bài viết vốn tốt thường bị bỏ qua, trong khi điểm 80% sẽ dẫn đến việc xem kỹ hơn lịch sử bản nháp, trích dẫn của bạn, và cách bài luận này so với các bài viết trước đây của bạn. Con số mở hồ sơ; con người mới là người khép lại nó.

Turnitin có phát hiện văn bản đã diễn đạt lại hoặc đã human hóa không?

Đôi khi có, và đây chính là nơi cuộc chạy đua diễn ra. Năm 2024, Turnitin bổ sung tính năng phát hiện diễn đạt lại bằng AI, một lớp được huấn luyện để nhận ra văn bản do mô hình ngôn ngữ lớn tạo ra rồi chạy qua công cụ diễn đạt lại. Kiểu diễn đạt lại rẻ tiền, tức thay từ đồng nghĩa mà giữ nguyên cấu trúc câu gốc, chính xác là thứ lớp này bắt được, vì bộ khung thống kê của văn bản máy vẫn sống sót qua việc đổi từ.

Viết lại sâu là một câu chuyện khác. Khi cấu trúc câu, nhịp điệu và cách diễn đạt thực sự được xây lại, dấu vân tay mà máy phát hiện dựa vào sẽ mờ đi. Đó là khác biệt giữa một lượt tra từ điển đồng nghĩa và việc làm cho văn bản AI tự nhiên như người viết một cách thực thụ, và đó là lý do một công cụ human hóa văn bản AI miễn phí nghiêm túc cho bạn xem điểm phát hiện trước và sau thay vì bắt bạn tin suông. Kiểm tra văn bản đã viết lại bằng các máy phát hiện thật là cách trung thực duy nhất để biết phép biến đổi có hiệu quả hay không.

Nó có bắt được văn bản AI mà bạn tự chỉnh sửa không?

Văn bản AI chỉnh sửa nhẹ thường vẫn bị gắn cờ. Đổi vài từ, xóa phần mở đầu, hay đảo thứ tự hai đoạn văn không làm thay đổi các thống kê cấp câu mà máy phát hiện đo lường, nên phần lớn tài liệu vẫn đọc như văn máy viết. Sinh viên thường xuyên ngạc nhiên vì điều này: mười lăm phút trau chuốt cảm giác như lao động thật, nhưng nó hầu như không dịch chuyển điểm số.

Văn bản được viết lại kỹ lưỡng khó bắt hơn nhiều, và Turnitin cũng thừa nhận vậy. Tài liệu của họ ghi rằng độ tin cậy giảm với các tài liệu có nhiều tác giả trộn lẫn, và đó chính xác là lý do dấu hoa thị cho điểm thấp tồn tại. Nếu bạn dùng ChatGPT để lên dàn ý hoặc viết nháp thô rồi tự viết lại từng câu bằng giọng của mình, với ví dụ và các đoạn chuyển ý của riêng bạn, thì văn bản cuối cùng về cơ bản là của bạn theo mọi thước đo thống kê. Máy phát hiện giỏi tìm văn xuôi máy viết. Nó không có cách nào nhìn thấy ý tưởng bên dưới.

GPT-4, Claude, Gemini: mô hình có quan trọng không?

Ít hơn bạn mong đợi. Turnitin huấn luyện máy phát hiện của mình trên đầu ra của các mô hình ngôn ngữ lớn như một thể loại, không phải trên một sản phẩm, và mọi mô hình chat lớn đều chia sẻ cùng một thói quen nền tảng: dự đoán từ tiếp theo có xác suất cao nhất. Đầu ra mặc định của GPT-4o, Claude và Gemini đều mang cùng dấu vân tay mượt mà, đều đặn, và các thử nghiệm cho thấy nhất quán rằng Turnitin gắn cờ cả ba với tỷ lệ cao khi văn bản chưa được chỉnh sửa.

Có hai sắc thái là thật. Các mô hình mới hơn khó đoán hơn một chút so với văn bản GPT-3.5 mà máy phát hiện được tinh chỉnh ban đầu, nên tỷ lệ phát hiện trên các mô hình tiên phong có thể giảm nhẹ cho đến khi Turnitin huấn luyện lại, việc họ làm thường xuyên. Và các mẹo prompt như "viết như người" hay "thêm burstiness" thay đổi văn phong bề mặt ít hơn nhiều so với người ta nghĩ, vì bên dưới lớp áo đó mô hình vẫn đang chọn các từ có xác suất cao. Đổi chatbot không phải là một chiến lược chống phát hiện.

Sinh viên thực sự bị gắn cờ như thế nào

Riêng một điểm AI cao hiếm khi hạ gục ai. Các vụ việc thực tế được dựng từ một chuỗi bằng chứng, và chỉ báo chỉ là mắt xích đầu tiên. Mô típ mà các giảng viên mô tả rất nhất quán: phần trăm cao, cộng với tài liệu không có lịch sử phiên bản, cộng với văn phong trau chuốt hoặc chung chung hơn hẳn các bài trước của sinh viên, cộng với các vấn đề nội dung như lập luận mơ hồ hay trích dẫn không tồn tại.

Điểm cuối đáng nhấn mạnh. Tài liệu tham khảo bịa đặt là vật chứng nặng nề nhất trong các vụ vi phạm liên quan đến AI, vì chúng không thể được giải thích bằng văn phong. Điểm của máy phát hiện có thể tranh cãi; một bài báo được trích dẫn nhưng chưa từng được xuất bản thì không. Nếu bạn dùng công cụ AI, dù ở bất kỳ mức độ được phép nào, hãy tự tay kiểm chứng mọi nguồn, giữ các bản nháp, và viết bằng giọng văn nhất quán với phần còn lại trong bài vở của bạn. Những sinh viên bị phát hiện hầu như không bao giờ bị phát hiện chỉ bởi con số phần trăm.

Phải làm gì nếu bạn bị buộc tội oan

Dương tính giả có xảy ra, và Turnitin thừa nhận điều đó. Nghiên cứu cũng chỉ ra rằng các máy phát hiện AI nói chung gắn cờ người viết tiếng Anh không bản ngữ với tỷ lệ cao hơn, có lẽ vì thứ tiếng Anh học được một cách cẩn thận thường đồng đều và dễ đoán hơn, đúng những phẩm chất mà máy phát hiện đọc thành giống máy. Nếu bạn viết bài trung thực mà vẫn bị gắn cờ, bạn có một vị thế đáng bảo vệ, nên đừng hoảng loạn và đừng nhận điều mình không làm.

Hãy xây hồ sơ bằng chứng trước buổi gặp. Lịch sử phiên bản từ Google Docs hay Word là vật chứng mạnh nhất bạn có, vì nó cho thấy bài luận lớn dần từng câu qua nhiều giờ. Bổ sung ghi chú, dàn ý, lịch sử tra cứu trên trình duyệt, và các bài viết đã được chấm điểm trước đây thể hiện văn phong của bạn. Yêu cầu được xem báo cáo thực tế, và chỉ ra các lưu ý mà chính Turnitin đã công bố: dấu hoa thị cho điểm thấp, tỷ lệ dương tính giả cấp câu, và tuyên bố rõ ràng của công ty rằng chỉ báo không nên được dùng làm bằng chứng duy nhất. Hầu hết các cơ sở giáo dục có quy trình khiếu nại. Hãy dùng nó một cách bình tĩnh và bằng văn bản.

Kiểm tra bài của bạn trước khi nộp

Đây là nỗi bực bội rất thực tế: sinh viên không thể xem điểm AI của Turnitin trước khi nộp, nên lần đầu bạn biết có vấn đề thường là thời điểm tệ nhất có thể. Giải pháp là kiểm tra bản nháp bằng các máy phát hiện độc lập trước. Chúng không giống hệt Turnitin, nhưng chúng đo cùng những tín hiệu thống kê, và một bản nháp đạt điểm sạch trên nhiều máy phát hiện rất khó làm chỉ báo sáng đèn.

Đây chính xác là điều Humanize AI được xây dựng để làm. Dán văn bản, hoặc tải lên tệp PDF hay DOCX, và bạn nhận điểm xác suất AI trực tiếp từ hai máy phát hiện độc lập trước khi thay đổi bất cứ thứ gì, rồi một điểm mới sau khi công cụ làm cho văn bản tự nhiên như người viết, với bất kỳ ngôn ngữ nào trong 40 ngôn ngữ, không cần đăng ký và không giới hạn số từ. Nếu điểm của bạn cao hơn mong đợi, hướng dẫn của chúng tôi về cách vượt qua phát hiện AI của Turnitin sẽ chỉ cách hạ điểm một cách trung thực, với giọng văn của chính bạn làm phần lớn công việc.

Câu hỏi thường gặp