آیا Turnitin متن ChatGPT را تشخیص می‌دهد؟ پاسخ صادقانه

پاسخ مستقیم: بله، با هشدارهای مهم

Turnitin از آوریل ۲۰۲۳ یک شاخص نگارش هوش مصنوعی را در گزارش‌های شباهت خود گنجانده است، و این شاخص به‌طور خاص برای شناسایی متن مدل‌های زبانی بزرگ مانند ChatGPT ساخته شده است. اگر پاسخ ChatGPT را مستقیماً در یک مقاله بچسبانید و آن را ارسال کنید، احتمال بسیار بالایی هست که Turnitin بیشتر آن را علامت‌گذاری کند. این بخش قطعی است.

هشدارها هم به همان اندازه اهمیت دارند. این شاخص یک برآورد آماری است، نه اثبات. تنها روی ارسال‌هایی اجرا می‌شود که حداقل شرایط را داشته باشند، که در حال حاضر دست‌کم ۳۰۰ کلمه نثر است. روی اسناد ترکیبی انسانی و هوش مصنوعی کم‌اعتمادتر است، در سطح جمله مشکل مستند مثبت کاذب دارد، و خود Turnitin به استادان می‌گوید که امتیاز هرگز نباید تنها مبنای تصمیم درباره تخلف علمی باشد. پس آیا Turnitin می‌تواند هوش مصنوعی را تشخیص دهد؟ بله. آیا می‌تواند اثبات کند که شما از آن استفاده کرده‌اید؟ نه، و همین شکاف است که هر پرونده واقعی در آن تعیین تکلیف می‌شود.

شاخص نگارش هوش مصنوعی Turnitin چگونه کار می‌کند

Turnitin مقاله شما را با یک پایگاه‌داده از خروجی‌های ChatGPT مقایسه نمی‌کند. در عوض، سند شما را به بخش‌های هم‌پوشان چند صد کلمه‌ای تقسیم می‌کند، سپس هر جمله را بر اساس اینکه از نظر آماری چقدر قابل‌پیش‌بینی است امتیاز می‌دهد. مدل‌های زبانی با انتخاب مکرر محتمل‌ترین کلمه بعدی می‌نویسند، که متنی به‌طور غیرعادی نرم، یکنواخت و کم‌غافلگیری تولید می‌کند. نوشته انسانی نامرتب‌تر است: طول جملات متغیر است، انتخاب کلمات گاهی عجیب است، و ریتم بالا و پایین می‌رود.

دو سیگنالی که بیشتر این کار را پیش می‌برند، پریشانی (perplexity) هستند، یعنی اینکه انتخاب کلمات شما چقدر قابل‌پیش‌بینی است، و انفجاری بودن (burstiness)، یعنی اینکه ساختار جملات شما چقدر متغیر است. اگر یک بخش به‌طور مداوم نرم و به‌طور مداوم یکنواخت باشد، مدل جملاتش را به‌عنوان احتمالاً هوش مصنوعی علامت می‌زند. ما ساز‌و‌کار را با جزئیات بیشتری در راهنمای خود درباره نحوه کار تشخیص‌دهنده‌های هوش مصنوعی پوشش داده‌ایم، اما نکته کلیدی ساده است: Turnitin اثر انگشت آماری نوشته ماشینی را تشخیص می‌دهد، نه محتوای هیچ چت‌بات مشخصی را.

امتیاز درصدی واقعاً چه معنایی دارد

عددی که استادان می‌بینند، درصد جملات واجد شرایط در سند شماست که مدل باور دارد توسط هوش مصنوعی تولید شده‌اند. امتیاز ۴۰٪ به این معنا نیست که Turnitin با ۴۰٪ اطمینان می‌گوید شما تقلب کرده‌اید. یعنی تقریباً ۴۰٪ از جملات نثر شما از نظر مدل ماشین‌نوشته به‌نظر رسیده‌اند. این‌ها ادعاهای بسیار متفاوتی‌اند، و درهم آمیختنشان رایج‌ترین اشتباه در جلسات تخلف است.

دانستن دو نکته ارزش دارد. نخست، Turnitin امتیازهای بین ۱٪ تا ۱۹٪ را با یک ستاره نشان می‌دهد، چون پژوهش خودش نشان داد که امتیازهای پایین بیشتر احتمال دارد شامل مثبت‌های کاذب باشند، و برخی مؤسسات گزارش‌ها را طوری تنظیم می‌کنند که این بازه را کاملاً پنهان کنند. دوم، این شاخص متنی را که واجد شرایط نیست نادیده می‌گیرد، مانند فهرست‌های نقطه‌ای، کد، جدول‌ها و جملات بسیار کوتاه، بنابراین درصد تنها بخشی از سند شما را توصیف می‌کند.

تشخیص هوش مصنوعی Turnitin چقدر دقیق است؟

ادعای منتشرشده Turnitin این است که این شاخص نگارش هوش مصنوعی را با حدود ۹۸٪ دقت شناسایی می‌کند، در حالی که برای مقالاتی که بیش از ۲۰٪ متنشان توسط هوش مصنوعی تولید شده، نرخ مثبت کاذب در سطح سند را زیر ۱٪ نگه می‌دارد. این اعداد از آزمایش‌های آزمایشگاهی خود Turnitin می‌آیند، و یک سناریوی مشخص را توصیف می‌کنند: متن هوش مصنوعی عمدتاً ویرایش‌نشده به نثر انگلیسی.

بررسی مستقل کمتر خوشایند بوده است. اندکی پس از عرضه، Turnitin پذیرفت که مثبت‌های کاذب در سطح جمله بیشتر از انتظار بوده‌اند، نزدیک به ۴٪ در اسنادی با ترکیبی از نوشته انسانی و هوش مصنوعی. روزنامه‌نگارانی که این ابزار را در سال ۲۰۲۳ آزمایش کردند دریافتند که روی مقاله‌های ترکیبی می‌لغزد، بخش‌های هوش مصنوعی را از دست می‌دهد و بخش‌های انسانی را علامت‌گذاری می‌کند. و در اوت ۲۰۲۳، دانشگاه Vanderbilt این ویژگی را علناً غیرفعال کرد، با این استدلال که خطر مثبت کاذب برای عمل کردن بر پایه آن بیش از حد بالاست. خلاصه منصفانه دقت تشخیص هوش مصنوعی Turnitin: قوی روی خروجی خالص و ویرایش‌نشده ChatGPT، و به‌طور معناداری ضعیف‌تر روی هر چیزی که بین این دو قرار می‌گیرد.

معلم شما واقعاً چه می‌بیند

دانشجویان معمولاً اصلاً نمی‌توانند امتیاز هوش مصنوعی را ببینند. این شاخص در نمای استاد از گزارش شباهت به‌صورت یک نشان درصدی کوچک، جدا از امتیاز سرقت ادبی، ظاهر می‌شود. با کلیک روی آن، گزارشی باز می‌شود که در آن جملات علامت‌گذاری‌شده برجسته شده‌اند، با یک رنگ برای متنی که تولیدشده توسط هوش مصنوعی تشخیص داده شده و رنگی دیگر برای متنی که تولیدشده توسط هوش مصنوعی و سپس بازنویسی‌شده با یک ابزار تشخیص داده شده است.

اینکه استادان با آن صفحه چه می‌کنند بسیار متفاوت است. راهنمای خود Turnitin به آن‌ها می‌گوید امتیاز را به‌عنوان سیگنالی برای آغاز یک گفت‌وگو در نظر بگیرند، نه یک حکم، و بسیاری از دانشگاه‌ها این احتیاط را در سیاست‌های خود نوشته‌اند. در عمل، امتیاز ۱۵٪ روی مقاله‌ای که در بقیه موارد قوی است اغلب نادیده گرفته می‌شود، در حالی که امتیاز ۸۰٪ باعث بررسی دقیق‌تر تاریخچه پیش‌نویس، ارجاعات و مقایسه مقاله با نوشته‌های پیشین شما می‌شود. عدد پرونده را باز می‌کند؛ یک انسان آن را می‌بندد.

آیا Turnitin متن بازنویسی‌شده یا انسانی‌سازی‌شده را تشخیص می‌دهد؟

گاهی بله، و اینجا همان‌جایی است که مسابقه تسلیحاتی جریان دارد. در سال ۲۰۲۴ Turnitin تشخیص بازنویسی هوش مصنوعی را اضافه کرد، لایه‌ای که برای شناسایی متنی آموزش دیده که توسط یک مدل زبانی بزرگ تولید و سپس از یک ابزار بازنویسی عبور داده شده است. بازنویسی ارزان، یعنی جایگزینی مترادف‌ها که ساختار اصلی جمله را دست‌نخورده نگه می‌دارد، دقیقاً همان چیزی است که این لایه می‌گیرد، چون اسکلت آماری متن ماشینی از تغییر کلمات جان سالم به در می‌برد.

بازنویسی عمیق‌تر داستان دیگری است. وقتی ساختار جمله، ریتم و عبارت‌پردازی واقعاً بازسازی شوند، اثر انگشتی که تشخیص‌دهنده به آن تکیه می‌کند محو می‌شود. این تفاوت میان یک عبور از فرهنگ مترادف‌ها و انسانی‌سازی واقعی است، و به همین دلیل است که یک انسانی‌ساز رایگان هوش مصنوعی جدی به جای اینکه از شما بخواهد نتایج را با ایمان بپذیرید، امتیازهای تشخیص را پیش و پس از کار به شما نشان می‌دهد. آزمایش متن بازنویسی‌شده در برابر تشخیص‌دهنده‌های واقعی تنها راه صادقانه برای دانستن این است که آیا این دگرگونی مؤثر بوده یا نه.

آیا متن هوش مصنوعی‌ای را که خودتان ویرایش کرده‌اید می‌گیرد؟

متن هوش مصنوعی که به‌سبکی ویرایش شده معمولاً باز هم علامت‌گذاری می‌شود. تغییر چند کلمه، حذف یک مقدمه، یا جابه‌جایی دو پاراگراف آمار سطح‌جمله‌ای را که تشخیص‌دهنده اندازه می‌گیرد تغییر نمی‌دهد، بنابراین بیشتر سند همچنان مثل نوشته ماشینی خوانده می‌شود. دانشجویان مرتباً از این موضوع شگفت‌زده می‌شوند: پانزده دقیقه صیقل دادن مثل کار واقعی حس می‌شود، اما به‌سختی امتیاز را تکان می‌دهد.

متنی که به‌شدت بازنویسی شده بسیار سخت‌تر گرفته می‌شود، و Turnitin هم همین را می‌گوید. مستندات آن اشاره می‌کند که قابلیت اعتماد روی اسنادی با نویسندگی ترکیبی افت می‌کند، که دقیقاً دلیل وجود ستاره امتیاز پایین است. اگر از ChatGPT برای یک طرح کلی یا یک پیش‌نویس خام استفاده کرده‌اید و سپس هر جمله را با صدای خودتان، با مثال‌های خودتان و پیوندهای خودتان بازنویسی کرده‌اید، متن نهایی از هر معیار آماری تا حد زیادی از آن شماست. تشخیص‌دهنده در یافتن نثر ماشینی خوب است. اما هیچ راهی برای دیدن ایده‌های زیر آن ندارد.

GPT-4، Claude، Gemini: آیا مدل مهم است؟

کمتر از آنچه امید دارید. Turnitin تشخیص‌دهنده خود را روی خروجی مدل‌های زبانی بزرگ به‌عنوان یک دسته آموزش داد، نه روی یک محصول، و هر مدل گفت‌وگوی بزرگی همان عادت زیربنایی را دارد: پیش‌بینی محتمل‌ترین کلمه بعدی. خروجی پیش‌فرض GPT-4o، Claude و Gemini همگی همان اثر انگشت نرم و یکنواخت را دارند، و آزمایش‌ها به‌طور مداوم نشان می‌دهند که Turnitin وقتی متن ویرایش‌نشده باشد، هر سه را با نرخ بالا علامت‌گذاری می‌کند.

دو نکته ظریف واقعی‌اند. مدل‌های تازه‌تر اندکی کمتر از متن GPT-3.5 که تشخیص‌دهنده در اصل روی آن تنظیم شده بود قابل‌پیش‌بینی‌اند، بنابراین نرخ تشخیص روی مدل‌های پیشرو ممکن است کمی افت کند تا زمانی که Turnitin دوباره آموزش ببیند، که این کار را مرتباً انجام می‌دهد. و ترفندهای دستوردهی مانند "مثل انسان بنویس" یا "انفجاری بودن اضافه کن" سبک ظاهری را بسیار کمتر از آنچه مردم فکر می‌کنند تغییر می‌دهند، چون مدل زیر آن لباس مبدل همچنان کلمات با احتمال بالا را انتخاب می‌کند. عوض کردن چت‌بات یک راهبرد فرار از تشخیص نیست.

دانشجویان واقعاً چگونه علامت‌گذاری می‌شوند

امتیاز بالای هوش مصنوعی به‌تنهایی به‌ندرت کسی را غرق می‌کند. پرونده‌های واقعی از یک زنجیره شواهد ساخته می‌شوند، و این شاخص تنها نخستین حلقه است. الگویی که استادان توصیف می‌کنند ثابت است: درصد بالا، به‌علاوه سندی بدون تاریخچه نسخه‌ها، به‌علاوه نوشته‌ای که به‌طور محسوسی صیقلی‌تر یا عمومی‌تر از کارهای پیشین دانشجوست، به‌علاوه مشکلات محتوایی مانند استدلال‌های مبهم یا ارجاعاتی که وجود ندارند.

مورد آخر شایسته تأکید است. منابع جعلی مخرب‌ترین شاهد در پرونده‌های تخلف هوش مصنوعی‌اند، چون با سبک نگارش قابل‌توضیح نیستند. با امتیاز یک تشخیص‌دهنده می‌توان بحث کرد؛ اما با مقاله‌ای که به آن ارجاع داده شده اما هرگز منتشر نشده نمی‌توان. اگر اصلاً از ابزارهای هوش مصنوعی استفاده می‌کنید، در هر ظرفیت مجازی، هر منبع را دستی راستی‌آزمایی کنید، پیش‌نویس‌هایتان را نگه دارید، و با صدایی بنویسید که با بقیه کارتان هماهنگ باشد. دانشجویانی که گیر می‌افتند تقریباً هرگز فقط با درصد گیر نمی‌افتند.

اگر به‌ناحق متهم شدید چه باید کرد

مثبت‌های کاذب رخ می‌دهند، و Turnitin هم آن را می‌پذیرد. پژوهش‌ها همچنین نشان داده‌اند که تشخیص‌دهنده‌های هوش مصنوعی به‌عنوان یک دسته، نویسندگان غیربومی انگلیسی را با نرخ بالاتری علامت‌گذاری می‌کنند، احتمالاً چون انگلیسیِ سنجیده و آموخته‌شده معمولاً یکنواخت‌تر و قابل‌پیش‌بینی‌تر است، دقیقاً همان ویژگی‌هایی که تشخیص‌دهنده‌ها آن‌ها را ماشین‌گونه می‌خوانند. اگر مقاله خود را صادقانه نوشته‌اید و علامت‌گذاری شده‌اید، موضعی قابل‌دفاع دارید، پس هراسان نشوید و به چیزی که انجام نداده‌اید اعتراف نکنید.

پرونده شواهد خود را پیش از جلسه بسازید. تاریخچه نسخه‌ها از Google Docs یا Word قوی‌ترین سند شماست، چون نشان می‌دهد مقاله در طول ساعت‌ها جمله‌به‌جمله رشد کرده است. یادداشت‌ها، طرح‌های کلی، تاریخچه پژوهش در مرورگر و نوشته‌های نمره‌گرفته پیشین را که سبک شما را نشان می‌دهند اضافه کنید. بخواهید که خود گزارش را ببینید، و به هشدارهای منتشرشده خود Turnitin اشاره کنید: ستاره روی امتیازهای پایین، نرخ مثبت کاذب در سطح جمله، و بیانیه صریح شرکت مبنی بر اینکه این شاخص نباید به‌عنوان تنها شاهد استفاده شود. بیشتر مؤسسات فرایند تجدیدنظر دارند. با آرامش و به‌صورت مکتوب از آن استفاده کنید.

پیش از ارسال، کارتان را بررسی کنید

اینجا ناکامی عملی است: دانشجویان نمی‌توانند امتیاز هوش مصنوعی Turnitin را پیش از ارسال ببینند، بنابراین نخستین باری که می‌فهمید مشکلی هست اغلب بدترین لحظه ممکن است. راه‌حل جایگزین این است که ابتدا پیش‌نویس خود را در برابر تشخیص‌دهنده‌های مستقل آزمایش کنید. آن‌ها با Turnitin یکسان نیستند، اما همان سیگنال‌های آماری را اندازه می‌گیرند، و پیش‌نویسی که در چند تشخیص‌دهنده امتیاز پاک می‌گیرد بسیار بعید است که شاخص را روشن کند.

این دقیقاً همان چیزی است که Humanize AI برای آن ساخته شده است. متن خود را بچسبانید، یا یک فایل PDF یا DOCX بارگذاری کنید، و پیش از آنکه چیزی را تغییر دهید یک امتیاز احتمال هوش مصنوعی زنده از دو تشخیص‌دهنده مستقل می‌گیرید، سپس یک امتیاز تازه پس از انسانی‌سازی، در هر یک از ۴۰ زبان، بدون ثبت‌نام و بدون محدودیت کلمه. اگر امتیاز شما بیشتر از انتظار بود، راهنمای ما درباره نحوه دور زدن تشخیص هوش مصنوعی Turnitin شما را در پایین آوردن صادقانه آن راهنمایی می‌کند، طوری که بیشتر کار را صدای خودتان انجام دهد.

پرسش‌های پرتکرار