تشخیص‌دهنده‌های هوش مصنوعی واقعاً چگونه کار می‌کنند (و چرا شما را علامت‌گذاری می‌کنند)

یک تشخیص‌دهنده هوش مصنوعی واقعاً چه چیزی را اندازه می‌گیرد

یک تشخیص‌دهنده هوش مصنوعی نمی‌داند چه کسی یک جمله را نوشته است. هرگز پیش‌تر سند شما را ندیده، و نمی‌تواند آن را با یک پایگاه‌داده پنهان از خروجی‌های ChatGPT بررسی کند. در عوض، امتیاز می‌دهد که متن شما در مقایسه با الگوهایی که مدل‌های زبانی بزرگ معمولاً تولید می‌کنند چقدر قابل‌پیش‌بینی است.

تشخیص‌دهنده‌های امروزی خودشان مدل‌های یادگیری ماشین‌اند که روی میلیون‌ها بخش انسانی و هوش مصنوعی آموزش دیده‌اند. آن‌ها به دنبال اثر انگشت‌های آماری‌ای می‌گردند که تولید متن از خود به جا می‌گذارد، سپس یک احتمال بیرون می‌دهند. هیچ‌چیز در این فرایند نویسندگی را تأیید نمی‌کند. یک تشخیص‌دهنده نمی‌تواند تاریخچه مرورگر شما را ببیند یا تایپ کردنتان را تماشا کند؛ فقط می‌تواند بگوید که متن شما به نوشته ماشینی‌ای که روی آن آموزش دیده شباهت دارد یا ندارد.

آن را مثل یک فیلتر هرزنامه در نظر بگیرید. یاد گرفته که ایمیل‌های بی‌ارزش معمولاً چه شکلی‌اند، بنابراین پیام‌هایی را که آن ویژگی‌ها را دارند علامت‌گذاری می‌کند، اما هرگز نمی‌تواند درباره هیچ ایمیل واحدی مطمئن باشد. تشخیص هوش مصنوعی هم به همین شکل کار می‌کند، یعنی هر امتیاز یک گمانه است که در قالب یک عدد آراسته شده است. این موضوع نحوه خواندن نتیجه را هم تغییر می‌دهد: "۸۵٪ هوش مصنوعی" به این معنا نیست که ۸۵٪ متن شما ماشین‌نوشته است. یعنی تشخیص‌دهنده درباره یک حدس نسبتاً مطمئن است.

پریشانی: کلمات شما چقدر غافلگیرکننده‌اند

پریشانی (perplexity) مهم‌ترین سیگنال به‌تنهایی است. اندازه می‌گیرد که یک مدل زبانی از هر کلمه‌ای که انتخاب کرده‌اید چقدر غافلگیر می‌شود. اگر هر کلمه بعدی دقیقاً همان چیزی باشد که مدل پیش‌بینی می‌کرد، پریشانی پایین است، و متن ماشین‌نوشته به‌نظر می‌رسد. انسان‌ها کمتر قابل‌پیش‌بینی‌اند: ما سراغ یک صفت غیرمعمول می‌رویم، یک قاعده را می‌شکنیم، یا چیزی را کمی ناهنجار بیان می‌کنیم، و هر یک از این انتخاب‌ها پریشانی را بالا می‌برد.

یک جفت مشخص این را قابل‌مشاهده می‌کند. جمله یک: "ورزش منظم مهم است چون هم سلامت جسمی و هم سلامت روانی را بهبود می‌بخشد." جمله دو: "به ورزش کردن ادامه می‌دهم چون زانوهایم کمتر غر می‌زنند و صندوق ورودی ایمیلم بعدش کمتر وحشتناک به‌نظر می‌رسد." هر دو از نظر دستوری درست‌اند و هر دو همان نکته پایه را می‌رسانند، اما اولی کاملاً از کلماتی ساخته شده که یک مدل زبانی آن‌ها را محتمل‌ترین انتخاب بعدی می‌داند؛ "ورزش منظم مهم است چون" عملاً یک قالب است. دومی خطرهای کوچکی می‌کند: زانوهایی که غر می‌زنند، صندوق ورودی‌ای که وحشت می‌آفریند. مدلی که احتمال را کلمه‌به‌کلمه امتیاز می‌دهد، جمله اول را غیرغافلگیرکننده و جمله دوم را واقعاً سخت‌پیش‌بینی می‌یابد، بنابراین اولی هوش مصنوعی و دومی انسانی خوانده می‌شود.

این همچنین دلیل آن است که نوشته صیقلی و عمومی حتی وقتی یک انسان تک‌تک کلماتش را نوشته باشد علامت‌گذاری می‌شود. پریشانی تلاش یا صداقت را اندازه نمی‌گیرد، فقط قابل‌پیش‌بینی بودن را، و برخی نوشته‌های کاملاً انسانی بسیار قابل‌پیش‌بینی‌اند.

انفجاری بودن: ریتم نوشته واقعی

انفجاری بودن (burstiness) تنوع در ساختار و طول جملات را اندازه می‌گیرد. مردم به‌صورت انفجاری می‌نویسند: یک جمله بلند و پرپیچ‌وخم و بعد یک جمله کوتاه. سه کلمه. سپس یک عبارت پیچیده پر از جزئیات که بیش از آنچه احتمالاً باید، ادامه پیدا می‌کند.

خروجی هوش مصنوعی نرم‌تر است. اگر به حال خود رها شود، مدل جملاتی تولید می‌کند که حول‌وحوش همان طول می‌چرخند، با ساختارهای مشابه آغاز می‌شوند و با همان آهنگ یکنواخت فرود می‌آیند، پاراگراف پس از پاراگراف. این دو را کنار هم بگذارید و اغلب می‌توانید پیش از خواندن حتی یک کلمه تفاوت را تشخیص دهید: متن انسانی روی صفحه ناهموار به‌نظر می‌رسد، متن ماشینی مثل آجرچینی.

تشخیص‌دهنده‌ها آن ناهمواری را کمّی می‌کنند. انفجاری بودنِ پایین به‌علاوه پریشانی پایین امضای کلاسیک هوش مصنوعی است، و وقتی هر دو حاضر باشند تشخیص‌دهنده مطمئن می‌شود که متن تولید شده است، حتی اگر موضوع و دستور زبان بی‌نقص باشند. اما هر سیگنال به‌تنهایی ضعیف است. یک شاعر با انفجاری بودن وحشیانه می‌نویسد و یک وکیل قرارداد تقریباً بدون هیچ انفجاری بودنی، و هر دو انسان‌اند، به همین دلیل است که ابزارهای جدی همیشه این دو را ترکیب می‌کنند.

احتمال توکن در پشت صحنه

مدل‌های زبانی هر بار یک توکن می‌نویسند، و هر توکن با یک امتیاز احتمال همراه است. تشخیص‌دهنده‌ها این احتمال‌ها را تقریب می‌زنند و بررسی می‌کنند که آیا متن شما درون "منطقه امن" مدل از انتخاب‌های محتمل قرار دارد یا نه. وقتی یک بخش تقریباً کاملاً از توکن‌های با احتمال بالا ساخته شده که در یک ریتم یکنواخت چیده شده‌اند، با شیوه‌ای که ChatGPT، Gemini و Claude به‌طور پیش‌فرض تولید می‌کنند مطابقت دارد، و تشخیص‌دهنده آن الگو را به درصدی که می‌بینید تبدیل می‌کند.

این همچنین توضیح می‌دهد که چرا آزمایش قطعه‌های کوتاه غیرقابل‌اعتماد است. با فقط یکی دو جمله، سیگنال کافی برای جدا کردن یک انسان دقیق از یک مدل وجود ندارد، بنابراین امتیازها به‌شدت نوسان می‌کنند. بیشتر فروشندگان بی‌سروصدا موافق‌اند: چند تای آن‌ها از امتیازدهی به هر چیزی زیر چند صد کلمه خودداری می‌کنند، چون زیر آن طول، ریاضیاتش به شیر یا خط نزدیک‌تر است تا به یک اندازه‌گیری.

تشخیص‌دهنده‌های آماری در برابر تشخیص‌دهنده‌های مبتنی بر طبقه‌بند

ابزارهای تشخیص در دو خانواده جای می‌گیرند، و دانستن اینکه با کدام‌یک روبه‌رو هستید بسیاری از نتایج عجیب را توضیح می‌دهد. تشخیص‌دهنده‌های آماری از یک مدل زبانی مرجع برای محاسبه مستقیم احتمال‌ها استفاده می‌کنند: متن شما را از مدل عبور می‌دهند، پریشانی، انفجاری بودن و کمیت‌های مرتبط را اندازه می‌گیرند، سپس یک آستانه اعمال می‌کنند. روش‌های پژوهشی مانند GLTR و DetectGPT به این شکل کار می‌کنند، و امتیازدهیِ پشت بسیاری از بررسی‌کننده‌های رایگان هم همین‌طور. نقطه قوتشان این است که به داده آموزشی برچسب‌خورده نیازی ندارند؛ نقطه ضعفشان این است که حکم به‌شدت به این وابسته است که کدام مدل مرجع امتیازدهی را انجام می‌دهد.

در عوض، تشخیص‌دهنده‌های مبتنی بر طبقه‌بند آموزش داده می‌شوند. فروشنده پیکره‌های بزرگی از متن انسانیِ شناخته‌شده و متن هوش مصنوعیِ شناخته‌شده جمع‌آوری می‌کند، سپس یک مدل، اغلب یک ترانسفورمر به‌سبک RoBERTa، را تنظیم دقیق می‌کند تا این دو را از هم تشخیص دهد. Turnitin، Originality.ai و Copyleaks به این شکل ساخته شده‌اند. طبقه‌بندها سرنخ‌های ظریفی فراتر از پریشانی خام را می‌گیرند، بنابراین معمولاً روی متنی که به داده آموزشی‌شان شباهت دارد دقیق‌ترند، اما روی نوشته مدل‌های تازه‌تر، زبان‌های دیگر یا حوزه‌هایی که هرگز ندیده‌اند افت می‌کنند، و هیچ‌کس بیرون از فروشنده نمی‌تواند بازرسی کند که واقعاً چه چیزی یاد گرفته‌اند.

بیشتر محصولات تجاری اکنون ترکیبی از هر دو رویکردند، که یکی از دلایلی است که چرا تفسیر امتیازهایشان دشوار و مقایسه آن‌ها میان ابزارها حتی دشوارتر است.

چرا خروجی ChatGPT، Gemini و Claude علامت‌گذاری می‌شود

مدل‌های پیشرو آموزش دیده‌اند که روشن، ایمن و روان باشند، و مرحله پایانی آن آموزش به پاسخ‌هایی پاداش می‌دهد که بیشتر داوران آن‌ها را خوش‌نوشته می‌دانند. این خروجی را به‌سمت جملات متوازن، پیوندهای مرتب مانند "به‌علاوه" و "در نتیجه"، و واژگانی که در میانه آماری راه باقی می‌مانند سوق می‌دهد.

همان ویژگی‌ها دقیقاً همان چیزی‌اند که تشخیص‌دهنده‌ها شکارش می‌کنند. هرچه نوشته صیقلی‌تر و "متوسط‌تر" باشد، پریشانی و انفجاری بودنش پایین‌تر و امتیاز هوش مصنوعی‌اش بالاتر است. به‌طنز، پیش‌نویس‌های خام انسانی پر از غلط تایپی و ویژگی‌های عجیب اغلب راحت‌تر از یک پیش‌نویس اولیه تمیز هوش مصنوعی از فیلتر عبور می‌کنند، چون همان نقص‌ها هستند که سیگنال انسانی را حمل می‌کنند.

GPTZero، Turnitin، ZeroGPT و دیگران واقعاً چه چیزی را بررسی می‌کنند

ابزارهای بزرگ همان منطق اصلی را دارند اما آن را متفاوت تنظیم می‌کنند. GPTZero امتیازدهی پریشانی و انفجاری بودن را رایج کرد و هر دو را در سطح جمله گزارش می‌دهد. Turnitin AI تشخیص را در مجموعه سرقت ادبی خود برای مدارس یکپارچه می‌کند، اسناد را به بخش‌های هم‌پوشان تقسیم می‌کند و آن‌هایی را که طبقه‌بندش باور دارد مدل‌نوشته‌اند علامت‌گذاری می‌کند.

ZeroGPT یک خوانش سریع و رایگان در سطح جمله ارائه می‌دهد، در حالی که Originality.ai ناشران و تیم‌های SEO را با یک امتیاز سخت‌گیرانه و وزن‌دهی‌شده بر پایه اطمینان هدف می‌گیرد. Copyleaks بر پوشش چندزبانه و گزارش‌دهی سازمانی تأکید دارد. همه آن‌ها احتمالاتی‌اند، به همین دلیل است که هیچ‌کدام نمی‌توانند صادقانه ادعای بی‌نقص بودن کنند، و به همین دلیل است که بازاریابیِ دقتِ هر فروشنده بی‌سروصدا آزمون‌هایی را توصیف می‌کند که خود فروشنده طراحی کرده است.

چرا تشخیص‌دهنده‌ها با یکدیگر اختلاف نظر دارند

همان مقاله را در سه تشخیص‌دهنده بچسبانید و می‌توانید از یکی ۲٪ هوش مصنوعی، از دیگری ۴۵٪ و از سومی ۸۸٪ بگیرید. این پراکندگی یک ایراد در یکی از آن‌ها نیست؛ همان چیزی است که وقتی سیستم‌های مختلف از شواهد یکسان حدس‌های مختلف می‌زنند رخ می‌دهد.

هر ابزار روی پیکره خودش آموزش دیده، با مدل مرجع خودش امتیاز می‌دهد، متن را به‌شکل متفاوتی تکه‌تکه می‌کند (کل سند در برابر جمله‌به‌جمله)، و آستانه خودش را برای اینکه چه چیزی "احتمالاً هوش مصنوعی" شمرده شود تعیین می‌کند. ابزاری که برای پرهیز از اتهام‌های نادرست تنظیم شده محافظه‌کارانه عمل می‌کند و کمتر علامت می‌زند؛ ابزاری که بر پایه گرفتن متقلبان فروخته می‌شود تهاجمی عمل می‌کند و همان متن را بیش از حد علامت می‌زند. آن‌ها همچنین بر اساس زمان‌بندی‌های متفاوتی به‌روزرسانی می‌شوند، بنابراین تشخیص‌دهنده‌ای که پیش از عرضه یک مدل جدید تنظیم شده، سبک آن مدل را ماه‌ها اشتباه قضاوت خواهد کرد.

درس عملی این است که هیچ امتیاز واحدی قطعی نیست، و اختلاف نظر میان ابزارها شاهد مستقیمی بر این است که چقدر حدس‌وگمان در کار است. اگر مدرسه شما با Turnitin بررسی می‌کند، تنها حکم Turnitin اهمیت دارد، و یک امتیاز پاک در جای دیگر نه آن را پیش‌بینی می‌کند و نه شما را از آن محافظت می‌کند.

مثبت‌های کاذب: اعداد منتشرشده

چون تشخیص‌دهنده‌ها قابل‌پیش‌بینی بودن را قضاوت می‌کنند، مرتباً خطا می‌کنند، و این خطاها فرضی نیستند. طبقه‌بند خود OpenAI، که در ژانویه ۲۰۲۳ عرضه شد، تنها ۲۶٪ از متن هوش‌مصنوعی‌نوشته را شناسایی کرد در حالی که ۹٪ از متن انسانی را به‌اشتباه هوش مصنوعی برچسب زد، و شرکت آن را ظرف شش ماه به‌دلیل دقت پایین کنار گذاشت. Turnitin ادعای نرخ مثبت کاذب در سطح سند زیر ۱٪ را دارد، اما پذیرفته است که جملات علامت‌گذاری‌شده به‌صورت جداگانه بسیار کم‌اعتمادترند، به همین دلیل است که روی اسنادی که فقط مقدار کمی متن مشکوک به هوش مصنوعی دارند امتیاز نمی‌دهد.

نگران‌کننده‌ترین یافته به سخنوران غیربومی انگلیسی مربوط می‌شود. پژوهشگران Stanford هفت تشخیص‌دهنده محبوب را روی مقاله‌هایی که دانشجویان واقعی برای آزمون TOEFL نوشته بودند آزمایش کردند و دریافتند که به‌طور میانگین ۶۱٪ از این مقاله‌های انسان‌نوشته به‌عنوان تولیدشده توسط هوش مصنوعی علامت‌گذاری شدند، و تقریباً همه آن‌ها دست‌کم توسط یک تشخیص‌دهنده علامت‌گذاری شدند. مقاله‌های دانشجویان بومی‌زبان آمریکایی تقریباً بدون کوچک‌ترین خدشه‌ای از همان ابزارها عبور کردند.

ساز‌و‌کارش دقیقاً همان چیزی است که این مقاله توصیف می‌کند: نویسندگانی که به زبان دوم کار می‌کنند معمولاً واژگان امن‌تر و ساختارهای جمله منظم‌تری به کار می‌برند، که پریشانی را پایین می‌آورد، که مثل متن ماشینی خوانده می‌شود. این سوگیری در خود روش تنیده شده است. به همین دلیل است که مدارس مسئولیت‌پذیر امتیاز تشخیص‌دهنده را آغاز یک گفت‌وگو می‌دانند، نه اثبات. یک عدد شاهد نیست.

نشان‌گذاری: راه‌حلی که هنوز عرضه نشده است

پژوهشگران مدت‌هاست استدلال می‌کنند که راه‌حل واقعی نشان‌گذاری (watermarking) است: اینکه خود مدل هوش مصنوعی هنگام تولید، یک امضای آماری نامرئی را در متن جاسازی کند. در شناخته‌شده‌ترین طرح، مدل هنگام نوشتن به‌طور پنهانی به یک "فهرست سبز" چرخشی از توکن‌ها تمایل نشان می‌دهد. یک خواننده نمی‌تواند این الگو را متوجه شود، اما تشخیص‌دهنده‌ای که کلید را در دست دارد می‌تواند آن را با دقتی بسیار بهتر از حدس زدن پریشانی آزمایش کند.

این راه‌حل عمدتاً عرضه نشده است. OpenAI یک نشان‌گذار متن ساخت که به‌صورت داخلی گزارش شده روی بخش‌های بلند حدود ۹۹.۹٪ مؤثر است، و روی آن نشسته است، با اشاره به این نگرانی‌ها که بازنویسی یا ترجمه نشان را می‌زداید، که می‌تواند سخنوران غیربومی را که به‌طور مشروع از هوش مصنوعی برای صیقل استفاده می‌کنند داغ ننگ بزند، و، با انگیزه‌ای کم‌شرافت‌مندانه‌تر، اینکه کاربران به‌سادگی به ابزارهایی که نشان‌گذاری نمی‌کنند روی خواهند آورد. SynthID-Text گوگل استثناست، درون Gemini اجرا می‌شود و به‌صورت متن‌باز منتشر شده است، اما فقط خروجی خود Gemini را نشان‌دار می‌کند.

مشکل اصلی همین است: یک نشان تنها مدل‌هایی را پوشش می‌دهد که سازندگانشان همکاری کنند، و مدل‌های وزن‌باز که هرکسی می‌تواند به‌صورت محلی اجرا کند هرگز نشانی نخواهند داشت. بنابراین تشخیص‌دهنده‌ای که مدرسه یا کارفرمای شما امروز استفاده می‌کند همچنان در حال انجام آمار است، نه خواندن نشان‌ها، با همه عدم‌قطعیتی که این موضوع در بر دارد.

تشخیص‌دهنده‌ها چگونه با متن ترکیبی انسانی و هوش مصنوعی برخورد می‌کنند

اسناد واقعی به‌ندرت همه از یک جنس‌اند. یک دانشجو مقدمه‌ای را با دست می‌نویسد، از ChatGPT می‌خواهد دو پاراگراف بدنه را گسترش دهد، سپس کل آن را ویرایش می‌کند. تشخیص‌دهنده‌ها با کشیدن یک پنجره روی سند، امتیازدهی جداگانه به هر جمله یا بخش، و برجسته کردن قطعه‌هایی که تولیدشده به‌نظر می‌رسند با این موضوع کنار می‌آیند.

ترکیب شدن هر سیگنالی را ضعیف می‌کند. ویرایش‌های انسانی درون یک پاراگراف هوش مصنوعی پریشانی آن را بالا می‌برند؛ جملات هوش مصنوعی درون یک بخش انسانی ریتم آن را به‌سمت یکنواختی می‌کشند. نتیجه یک امتیاز میان‌رده است که می‌تواند به معنای "نیمی هوش مصنوعی" یا "همه انسانی، اما عجیب‌نوشته" باشد، و برجسته‌سازی‌های جمله‌به‌جمله به‌طور محسوسی کم‌اعتمادتر از عدد کلی‌اند. Turnitin، برای نمونه، گفته است که علامت‌گذاری‌های سطح‌جمله‌ای‌اش نرخ خطای بالاتری از امتیاز سندش دارند، و مدتی از نمایش درصدهای پایین به‌کلی خودداری می‌کرد چون بسیار متزلزل بودند.

خلاصه: هرچه سند بیشتر آمیخته باشد، حکم مبهم‌تر است، و جملات برجسته‌شده در یک گزارش حتی از درصد تیتر هم شایسته تردید بیشترند.

انسانی‌سازی چگونه امتیاز را پایین می‌آورد

اگر تشخیص‌دهنده‌ها به پریشانی و انفجاری بودنِ بالا پاداش می‌دهند، راه‌حل این است که بیشتر مثل یک انسان بنویسید: طول جملات را متنوع کنید، از انتخاب کلمات کمتر قابل‌پیش‌بینی استفاده کنید، پیوندهای طبیعی اضافه کنید، و ریتم یکنواخت را بشکنید. انجام دستی این کار در سراسر یک سند کامل کند است، به همین دلیل است که یک انسانی‌ساز هوش مصنوعی وجود دارد تا متن را بازنویسی کند و آن تنوع انسانی را به‌طور خودکار بازگرداند.

ابزاری مانند Humanize AI خروجی مدل را بازنویسی می‌کند تا انفجاری بودن طبیعی و عبارت‌پردازی کمتر قابل‌پیش‌بینی را بازیابد، و به آن کمک می‌کند تشخیص هوش مصنوعی را دور بزند در حالی که معنای شما را دست‌نخورده نگه می‌دارد. مهم‌تر از همه، یک امتیاز پیش و پس از کار از تشخیص‌دهنده‌های واقعی نشان می‌دهد، بنابراین به جای امید بستن، تغییر را اندازه می‌گیرید. هدف فریب نیست، بلکه نوشته‌ای است که سرانجام مثل خودتان به‌نظر برسد.

این در عمل برای شما چه معنایی دارد

چند عادت مستقیماً از نحوه کار این فناوری برمی‌آیند. پیش از ارسال آزمایش کنید، چون حدس زدن یک امتیاز بی‌فایده است وقتی بررسی رایگان است؛ می‌توانید پیش‌نویس خود را از انسانی‌ساز رایگان هوش مصنوعی عبور دهید و اعداد تشخیص‌دهنده را پیش از هر کس دیگری ببینید. هرگز به حکمی درباره یک بخش کوتاه اعتماد نکنید، و برجسته‌سازی‌های سطح‌جمله‌ای را در بهترین حالت شاهدی ضعیف بدانید.

اگر صادقانه می‌نویسید، رسیدهایتان را نگه دارید: نسخه‌های پیش‌نویس، یادداشت‌ها و تاریخچه ویرایش شاهدی بسیار بهتر از هر امتیاز مقابلی برای نویسندگی‌اند، به‌ویژه اگر یک سخنور غیربومی هستید که در لحن رسمی‌ای می‌نویسد که تشخیص‌دهنده‌ها به آن بی‌اعتمادند. و اگر با یک بررسی‌کننده مشخص روبه‌رو هستید، رفتار مشخص آن را بیاموزید؛ Turnitin به‌ویژه ویژگی‌هایی دارد که دانستنشان ارزش دارد، به همین دلیل است که راهنمای Turnitin را به‌عنوان همراه این راهنما نوشتیم.

مهم‌تر از همه، به یاد داشته باشید که یک تشخیص‌دهنده چیست. یک تطبیق‌دهنده الگوست که قابل‌پیش‌بینی بودن را امتیاز می‌دهد، توسط یک فروشنده ساخته شده، روی یک آستانه تنظیم شده، و با نرخی قابل‌اندازه‌گیری در هر دو جهت اشتباه می‌کند. گاهی مفید. اما هرگز اثبات.

پرسش‌های پرتکرار