Máy phát hiện AI thực sự hoạt động ra sao (và vì sao chúng gắn cờ bạn)

Máy phát hiện AI thực sự đo cái gì

Một máy phát hiện AI không biết ai đã viết một câu văn. Nó chưa từng thấy tài liệu của bạn trước đó, và nó không thể đối chiếu với một cơ sở dữ liệu ẩn chứa các câu trả lời của ChatGPT. Thay vào đó, nó chấm điểm mức độ dễ đoán của văn bản của bạn so với các mẫu hình mà các mô hình ngôn ngữ lớn thường tạo ra.

Các máy phát hiện hiện đại tự thân cũng là các mô hình học máy được huấn luyện trên hàng triệu đoạn văn của người và của AI. Chúng tìm những dấu vân tay thống kê mà quá trình sinh văn bản để lại, rồi xuất ra một xác suất. Không có gì trong quy trình đó xác minh quyền tác giả. Máy phát hiện không thể xem lịch sử trình duyệt hay nhìn bạn gõ phím; nó chỉ có thể nói rằng văn bản của bạn giống, hoặc không giống, thứ văn máy viết mà nó được huấn luyện trên đó.

Hãy hình dung như một bộ lọc thư rác. Nó đã học được thư rác thường trông thế nào, nên nó gắn cờ những thư mang các đặc điểm đó, nhưng nó không bao giờ chắc chắn về bất kỳ email đơn lẻ nào. Phát hiện AI hoạt động y hệt, nghĩa là mọi điểm số đều là một phỏng đoán khoác áo con số. Điều đó cũng thay đổi cách bạn nên đọc kết quả: "85% AI" không có nghĩa 85% văn bản của bạn do máy viết. Nó có nghĩa máy phát hiện khá tự tin về một phỏng đoán.

Perplexity: từ ngữ của bạn gây bất ngờ đến đâu

Perplexity là tín hiệu quan trọng nhất. Nó đo mức độ bất ngờ của một mô hình ngôn ngữ trước mỗi từ bạn chọn. Nếu mọi từ tiếp theo đều đúng như những gì mô hình dự đoán, perplexity thấp, và văn bản trông như máy viết. Con người khó đoán hơn: chúng ta với tay tới một tính từ lạ, phá vỡ một quy tắc, hay diễn đạt điều gì đó hơi vụng về, và mỗi lựa chọn như vậy đẩy perplexity lên.

Một cặp ví dụ cụ thể làm rõ điều này. Câu một: "Tập thể dục đều đặn rất quan trọng vì nó cải thiện cả sức khỏe thể chất lẫn tinh thần." Câu hai: "Tôi vẫn duy trì tập luyện vì đầu gối bớt kêu ca và hộp thư đến trông đỡ đáng sợ hơn hẳn sau mỗi buổi tập." Cả hai đều đúng ngữ pháp và cùng nói một ý, nhưng câu đầu được lắp hoàn toàn từ những từ mà một mô hình ngôn ngữ xếp hạng là lựa chọn tiếp theo khả dĩ nhất; "tập thể dục đều đặn rất quan trọng vì" gần như là một khuôn mẫu. Câu thứ hai chấp nhận những rủi ro nhỏ: đầu gối biết kêu ca, hộp thư đến gây sợ hãi. Một mô hình chấm xác suất từng từ thấy câu đầu chẳng có gì bất ngờ còn câu sau thực sự khó đoán, nên câu đầu đọc ra là AI và câu sau đọc ra là con người.

Đây cũng là lý do văn viết trau chuốt, chung chung bị gắn cờ ngay cả khi một con người viết từng chữ. Perplexity không đo công sức hay sự trung thực, chỉ đo độ dễ đoán, và một số bài viết hoàn toàn của con người lại rất dễ đoán.

Burstiness: nhịp điệu của bài viết thật

Burstiness đo độ biến thiên trong cấu trúc và độ dài câu. Con người viết theo từng đợt: một câu dài, uốn lượn rồi tiếp một câu ngắn. Ba từ thôi. Rồi một mệnh đề phức tạp dày đặc chi tiết kéo dài hơn mức có lẽ nên có.

Đầu ra của AI mượt hơn. Ở thiết lập mặc định, một mô hình tạo ra những câu quanh quẩn cùng một độ dài, mở đầu bằng những cấu trúc tương tự, và kết thúc với cùng một nhịp đều đặn, hết đoạn này sang đoạn khác. Đặt hai loại cạnh nhau và bạn thường nhận ra khác biệt trước cả khi đọc một từ: văn của người trông lởm chởm trên trang giấy, văn của máy trông như một bức tường gạch.

Máy phát hiện định lượng sự lởm chởm đó. Burstiness thấp cộng perplexity thấp là chữ ký AI kinh điển, và khi cả hai cùng hiện diện, máy phát hiện trở nên tự tin rằng văn bản được sinh ra bởi máy, kể cả khi chủ đề và ngữ pháp hoàn hảo. Tuy vậy, từng tín hiệu đơn lẻ đều yếu. Một nhà thơ viết với burstiness dữ dội còn một luật sư hợp đồng gần như không có chút nào, và cả hai đều là con người, đó là lý do các công cụ nghiêm túc luôn kết hợp cả hai tín hiệu.

Xác suất token bên dưới lớp vỏ

Các mô hình ngôn ngữ viết từng token một, và mỗi token đi kèm một điểm xác suất. Máy phát hiện xấp xỉ các xác suất này và kiểm tra xem văn bản của bạn có nằm trong "vùng an toàn" gồm các lựa chọn khả dĩ của mô hình hay không. Khi một đoạn văn được dựng gần như hoàn toàn từ các token xác suất cao xếp theo nhịp đều đặn, nó khớp với cách ChatGPT, Gemini và Claude sinh văn bản theo mặc định, và máy phát hiện chuyển mẫu hình đó thành con số phần trăm bạn nhìn thấy.

Điều này cũng giải thích vì sao các đoạn ngắn không đáng tin để kiểm tra. Với chỉ một hai câu, không có đủ tín hiệu để tách một người viết cẩn thận khỏi một mô hình, nên điểm số dao động dữ dội. Hầu hết các nhà cung cấp âm thầm đồng ý: nhiều bên từ chối chấm bất cứ thứ gì dưới vài trăm từ, vì dưới độ dài đó phép toán gần với việc tung đồng xu hơn là một phép đo.

Máy phát hiện thống kê so với máy phát hiện dựa trên bộ phân loại

Các công cụ phát hiện chia thành hai họ, và biết mình đang đối mặt với họ nào sẽ giải thích rất nhiều kết quả kỳ lạ. Máy phát hiện thống kê dùng một mô hình ngôn ngữ tham chiếu để tính xác suất trực tiếp: chúng chạy văn bản của bạn qua mô hình, đo perplexity, burstiness và các đại lượng liên quan, rồi áp một ngưỡng. Các phương pháp nghiên cứu như GLTR và DetectGPT hoạt động theo cách này, và phần chấm điểm đằng sau nhiều công cụ kiểm tra miễn phí cũng vậy. Điểm mạnh của chúng là không cần dữ liệu huấn luyện gán nhãn; điểm yếu là phán quyết phụ thuộc nặng vào việc mô hình tham chiếu nào thực hiện việc chấm điểm.

Máy phát hiện dựa trên bộ phân loại thì được huấn luyện. Nhà cung cấp thu thập các kho ngữ liệu lớn gồm văn bản đã xác nhận là của người và của AI, rồi tinh chỉnh một mô hình, thường là transformer kiểu RoBERTa, để phân biệt hai loại. Turnitin, Originality.ai và Copyleaks được xây theo cách này. Bộ phân loại nắm bắt các manh mối tinh tế vượt ra ngoài perplexity thô, nên chúng thường chính xác hơn với văn bản giống dữ liệu huấn luyện của chúng, nhưng suy giảm trước bài viết từ các mô hình mới hơn, ngôn ngữ khác, hoặc lĩnh vực chúng chưa từng thấy, và không ai bên ngoài nhà cung cấp có thể kiểm tra chúng thực sự đã học được gì.

Hầu hết các sản phẩm thương mại giờ là dạng lai của cả hai cách tiếp cận, một trong những lý do khiến điểm số của chúng khó diễn giải và càng khó so sánh giữa các công cụ.

Vì sao đầu ra của ChatGPT, Gemini và Claude bị gắn cờ

Các mô hình tiên phong được huấn luyện để rõ ràng, an toàn và trôi chảy, và vòng huấn luyện cuối cùng thưởng cho những câu trả lời mà đa số người đánh giá cho là viết tốt. Điều đó đẩy đầu ra về phía những câu văn cân đối, các đoạn chuyển ý gọn gàng kiểu "hơn nữa" và "tóm lại", cùng vốn từ nằm ở khoảng giữa an toàn về mặt thống kê.

Chính những phẩm chất đó là thứ máy phát hiện săn lùng. Bài viết càng trau chuốt và càng "trung bình", perplexity và burstiness của nó càng thấp, và điểm AI càng cao. Trớ trêu thay, những bản nháp thô của con người đầy lỗi gõ phím và nét riêng thường vượt qua dễ hơn một bản nháp đầu tiên sạch sẽ của AI, vì chính các khiếm khuyết mới là thứ mang tín hiệu con người.

GPTZero, Turnitin, ZeroGPT và các công cụ khác thực sự kiểm tra gì

Các công cụ lớn chia sẻ cùng một logic cốt lõi nhưng tinh chỉnh khác nhau. GPTZero phổ biến hóa việc chấm điểm perplexity và burstiness và báo cáo cả hai ở cấp câu. Turnitin AI tích hợp phát hiện vào bộ công cụ chống đạo văn dành cho trường học, chia tài liệu thành các đoạn chồng lấn và gắn cờ những đoạn mà bộ phân loại của nó tin là do mô hình viết.

ZeroGPT cung cấp kết quả nhanh, miễn phí theo từng câu, trong khi Originality.ai nhắm tới các nhà xuất bản và đội SEO với một điểm số nghiêm ngặt, có trọng số độ tin cậy. Copyleaks nhấn mạnh độ phủ đa ngôn ngữ và báo cáo cấp doanh nghiệp. Tất cả đều mang tính xác suất, đó là lý do không công cụ nào có thể trung thực tự nhận là hoàn hảo, và là lý do phần quảng cáo độ chính xác của mỗi nhà cung cấp lặng lẽ mô tả các bài kiểm tra do chính nhà cung cấp đó thiết kế.

Vì sao các máy phát hiện bất đồng với nhau

Dán cùng một bài luận vào ba máy phát hiện và bạn có thể nhận 2% AI từ cái này, 45% từ cái khác, và 88% từ cái thứ ba. Độ chênh đó không phải là lỗi của một trong số chúng; đó là điều xảy ra khi các hệ thống khác nhau đưa ra phỏng đoán khác nhau từ cùng một bằng chứng.

Mỗi công cụ được huấn luyện trên kho ngữ liệu riêng, chấm bằng mô hình tham chiếu riêng, cắt văn bản theo cách riêng (cả tài liệu so với từng câu), và tự đặt ngưỡng cho thế nào là "có khả năng AI". Một công cụ được hiệu chỉnh để tránh buộc tội oan sẽ chạy thận trọng và gắn cờ thiếu; một công cụ được bán bằng lời hứa bắt kẻ gian sẽ chạy quyết liệt và gắn cờ thừa với cùng một văn bản. Chúng cũng cập nhật theo lịch khác nhau, nên một máy phát hiện được tinh chỉnh trước khi một mô hình mới ra mắt sẽ đánh giá sai phong cách của mô hình đó trong nhiều tháng.

Bài học thực tế là không điểm số đơn lẻ nào có tính quyết định, và sự bất đồng giữa các công cụ là bằng chứng trực tiếp cho thấy có bao nhiêu phần phỏng đoán trong đó. Nếu trường bạn kiểm tra bằng Turnitin, chỉ phán quyết của Turnitin mới có ý nghĩa, và một điểm sạch ở nơi khác không dự báo được cũng không bảo vệ bạn khỏi nó.

Dương tính giả: những con số đã công bố

Vì máy phát hiện phán xét dựa trên độ dễ đoán, chúng thường xuyên bắn trượt, và các cú trượt không hề mang tính giả định. Bộ phân loại của chính OpenAI, ra mắt tháng 1 năm 2023, chỉ nhận diện được 26% văn bản do AI viết trong khi dán nhãn nhầm 9% văn bản của người là AI, và công ty đã khai tử nó trong vòng sáu tháng vì độ chính xác thấp. Turnitin tuyên bố tỷ lệ dương tính giả cấp tài liệu dưới 1%, nhưng đã thừa nhận rằng từng câu bị gắn cờ kém tin cậy hơn nhiều, đó là lý do họ không hiển thị điểm trên các tài liệu chỉ có một lượng nhỏ văn bản nghi là AI.

Phát hiện đáng lo nhất liên quan đến người nói tiếng Anh không bản ngữ. Các nhà nghiên cứu Stanford thử nghiệm bảy máy phát hiện phổ biến trên các bài luận do sinh viên thật viết cho kỳ thi TOEFL và thấy rằng, trung bình, 61% các bài luận do người viết này bị gắn cờ là do AI tạo, và gần như tất cả đều bị ít nhất một máy phát hiện gắn cờ. Bài luận của sinh viên Mỹ bản ngữ đi qua cùng những công cụ đó gần như nguyên vẹn.

Cơ chế đúng như những gì bài viết này mô tả: người viết bằng ngôn ngữ thứ hai thường dùng vốn từ an toàn hơn và cấu trúc câu đều đặn hơn, khiến perplexity thấp xuống, và bị đọc thành văn bản máy. Thiên kiến nằm sẵn trong chính phương pháp. Đây là lý do các trường học có trách nhiệm coi điểm của máy phát hiện là điểm khởi đầu của một cuộc trao đổi, không phải bằng chứng. Một con số không phải là chứng cứ.

Watermark: giải pháp chưa được triển khai

Giới nghiên cứu từ lâu cho rằng giải pháp thực sự là watermark: để chính mô hình AI nhúng một chữ ký thống kê vô hình ngay lúc sinh văn bản. Trong cơ chế nổi tiếng nhất, mô hình âm thầm ưu tiên một "danh sách xanh" các token luân phiên trong khi viết. Người đọc không thể nhận ra mẫu hình, nhưng một máy phát hiện nắm giữ chìa khóa có thể kiểm tra nó với độ chính xác vượt xa phép đoán bằng perplexity.

Nó hầu như chưa được triển khai. OpenAI đã xây một công cụ watermark văn bản được báo cáo nội bộ là hiệu quả khoảng 99,9% trên các đoạn dài, và vẫn găm nó lại, viện dẫn lo ngại rằng diễn đạt lại hoặc dịch thuật sẽ xóa mất dấu, rằng nó có thể kỳ thị những người không bản ngữ dùng AI một cách chính đáng để trau chuốt câu chữ, và, kém cao thượng hơn, rằng người dùng sẽ đơn giản chuyển sang các công cụ không watermark. SynthID-Text của Google là ngoại lệ, chạy bên trong Gemini và được phát hành mã nguồn mở, nhưng nó chỉ đánh dấu đầu ra của chính Gemini.

Đó là vấn đề cốt lõi: watermark chỉ phủ các mô hình mà nhà sản xuất chịu hợp tác, còn các mô hình trọng số mở mà ai cũng chạy được trên máy mình sẽ không bao giờ mang nó. Vậy nên máy phát hiện mà trường học hay công ty của bạn dùng hôm nay vẫn đang làm thống kê, không phải đọc watermark, với toàn bộ sự bất định đi kèm.

Máy phát hiện xử lý văn bản trộn giữa người và AI thế nào

Tài liệu thực tế hiếm khi thuần một loại. Một sinh viên tự viết phần mở bài, nhờ ChatGPT khai triển hai đoạn thân bài, rồi biên tập toàn bộ. Máy phát hiện xử lý việc này bằng cách trượt một cửa sổ dọc tài liệu, chấm từng câu hoặc từng đoạn riêng biệt, và tô sáng những quãng trông như được máy sinh ra.

Việc pha trộn làm yếu mọi tín hiệu. Chỉnh sửa của con người bên trong một đoạn AI nâng perplexity của nó lên; các câu AI bên trong một phần do người viết kéo nhịp điệu của phần đó về phía đơn điệu. Kết quả là một điểm tầm trung có thể có nghĩa là "nửa AI" hoặc "toàn bộ của người, chỉ viết hơi lạ", và các phần tô sáng theo câu kém tin cậy rõ rệt so với con số tổng thể. Chẳng hạn, Turnitin đã nói các cờ cấp câu của họ mang tỷ lệ lỗi cao hơn điểm cấp tài liệu, và có thời gian họ từ chối hiển thị các phần trăm thấp vì chúng quá chông chênh.

Tóm lại: tài liệu càng pha trộn, phán quyết càng mờ, và những câu được tô sáng trong báo cáo càng xứng đáng nhận nhiều hoài nghi hơn cả con số tiêu đề.

Human hóa văn bản hạ điểm số như thế nào

Nếu máy phát hiện thưởng cho perplexity và burstiness cao, giải pháp là viết giống người hơn: thay đổi độ dài câu, chọn từ ít dễ đoán hơn, thêm các chuyển ý tự nhiên, và phá vỡ nhịp điệu đơn điệu. Làm việc này bằng tay trên cả một tài liệu rất chậm, đó là lý do AI Humanizer tồn tại: để viết lại văn bản và khôi phục sự biến hóa con người đó một cách tự động.

Một công cụ như Humanize AI diễn đạt lại đầu ra của mô hình để nó lấy lại burstiness tự nhiên và cách diễn đạt ít dễ đoán hơn, giúp nó vượt qua phát hiện AI trong khi giữ nguyên ý nghĩa của bạn. Quan trọng nhất, nó hiển thị điểm trước và sau từ các máy phát hiện thật, nên bạn đang đo lường sự thay đổi thay vì hy vọng. Mục tiêu không phải là lừa dối mà là một bài viết cuối cùng nghe đúng là bạn.

Điều này có ý nghĩa gì với bạn trong thực tế

Vài thói quen suy ra trực tiếp từ cách công nghệ này vận hành. Hãy kiểm tra trước khi nộp, vì đoán mò điểm số là vô nghĩa khi việc kiểm tra miễn phí; bạn có thể chạy bản nháp qua công cụ human hóa văn bản AI miễn phí và xem các con số từ máy phát hiện trước bất kỳ ai khác. Đừng bao giờ tin một phán quyết trên đoạn văn ngắn, và hãy coi các phần tô sáng cấp câu cùng lắm là bằng chứng yếu.

Nếu bạn viết trung thực, hãy giữ lại biên lai: các phiên bản nháp, ghi chú và lịch sử chỉnh sửa là bằng chứng quyền tác giả tốt hơn nhiều so với bất kỳ điểm số phản biện nào, nhất là nếu bạn là người không bản ngữ viết trong văn phong trang trọng mà máy phát hiện vốn nghi ngờ. Và nếu bạn đang đối mặt một công cụ kiểm tra cụ thể, hãy học hành vi cụ thể của nó; riêng Turnitin có những điểm kỳ quặc đáng biết, đó là lý do chúng tôi viết hướng dẫn về Turnitin làm bài đồng hành với bài này.

Trên hết, hãy nhớ máy phát hiện là gì. Nó là một bộ so khớp mẫu chấm điểm độ dễ đoán, do một nhà cung cấp xây, được tinh chỉnh theo một ngưỡng, và sai với tỷ lệ đo được theo cả hai hướng. Hữu ích, đôi khi. Bằng chứng, không bao giờ.

Câu hỏi thường gặp