Чи виявляє Turnitin ChatGPT? Чесна відповідь

Пряма відповідь: так, але з важливими застереженнями

Turnitin включає індикатор ШІ-письма у свої звіти про схожість із квітня 2023 року, і він був створений саме для виявлення тексту від великих мовних моделей на кшталт ChatGPT. Якщо ви вставите відповідь ChatGPT прямо в есе і надішлете його, дуже висока ймовірність, що Turnitin позначить більшу його частину. Ця частина питання вирішена.

Але застереження важать не менше. Індикатор є статистичною оцінкою, а не доказом. Він працює лише з роботами, що відповідають мінімальним вимогам, наразі це щонайменше 300 слів прози. Він менш надійний на змішаних документах, написаних людиною і ШІ, має задокументовану проблему хибних спрацьовувань на рівні речень, і сам Turnitin каже викладачам, що оцінка ніколи не повинна бути єдиною підставою для рішення про академічну недоброчесність. Тож чи може Turnitin виявити ШІ? Так. Чи може він довести, що ви ним користувалися? Ні, і саме в цьому проміжку вирішується кожна реальна справа.

Як працює індикатор ШІ-письма Turnitin

Turnitin не порівнює ваше есе з базою даних відповідей ChatGPT. Натомість він розбиває документ на сегменти по кілька сотень слів, що перекриваються, а потім оцінює кожне речення за тим, наскільки воно статистично передбачуване. Мовні моделі пишуть, раз за разом обираючи найімовірніше наступне слово, що дає незвично гладкий, рівний текст із низьким рівнем несподіванки. Людське письмо безладніше: довжина речень варіюється, вибір слів часом дивний, а ритм то підіймається, то спадає.

Більшість цих оцінок рухають два сигнали: перплексія, тобто наскільки передбачуваний ваш вибір слів, і берстовість, тобто наскільки варіюється структура ваших речень. Якщо фрагмент стабільно гладкий і стабільно рівний, модель позначає його речення як імовірно написані ШІ. Механіку ми детальніше розбираємо в посібнику про те, як працюють детектори ШІ, але ключовий момент простий: Turnitin виявляє статистичний відбиток машинного письма, а не вміст якогось конкретного чат-бота.

Що насправді означає відсоткова оцінка

Число, яке бачать викладачі, це відсоток відповідних речень у вашому документі, які модель вважає згенерованими ШІ. Оцінка 40% не означає, що Turnitin на 40% впевнений у вашому шахрайстві. Вона означає, що приблизно 40% речень вашої прози здалися моделі машинними. Це дуже різні твердження, і плутати їх є найпоширенішою помилкою на розглядах справ про недоброчесність.

Варто знати дві деталі. По-перше, Turnitin показує оцінки від 1% до 19% із зірочкою, бо його власні дослідження виявили, що низькі оцінки частіше містять хибні спрацьовування, а деякі заклади налаштовують звіти так, щоб цей діапазон взагалі не показувався. По-друге, індикатор ігнорує текст, який не відповідає вимогам, як-от марковані списки, код, таблиці та дуже короткі речення, тож відсоток описує лише частину вашого документа.

Наскільки точна детекція ШІ в Turnitin?

Опублікована заява Turnitin така: індикатор розпізнає ШІ-письмо з точністю близько 98%, утримуючи частку хибних спрацьовувань на рівні документа нижче 1% для робіт, де понад 20% тексту згенеровано ШІ. Ці цифри походять із власного лабораторного тестування Turnitin і описують конкретний сценарій: здебільшого невідредагований ШІ-текст англійською прозою.

Незалежна перевірка була менш утішною. Невдовзі після запуску Turnitin визнав, що хибних спрацьовувань на рівні речень більше, ніж очікувалося, ближче до 4% у документах зі змішаним людським і ШІ-письмом. Журналісти, які тестували інструмент у 2023 році, виявили, що він спотикається на гібридних есе, пропускаючи фрагменти ШІ та позначаючи людські. А в серпні 2023 року Університет Вандербільта публічно вимкнув цю функцію, аргументуючи, що ризик хибних спрацьовувань занадто високий, щоб діяти на його основі. Чесний підсумок щодо точності детекції ШІ в Turnitin: сильна на чистому, невідредагованому виводі ChatGPT, помітно слабша на всьому проміжному.

Що насправді бачить ваш викладач

Студенти зазвичай узагалі не бачать оцінку ШІ. Індикатор з'являється у викладацькому перегляді звіту про схожість як невеликий значок із відсотком, окремо від оцінки за плагіат. Клік по ньому відкриває звіт, де позначені речення підсвічені: одним кольором підсвічено текст, визнаний згенерованим ШІ, а іншим текст, який визнано згенерованим ШІ і потім перефразованим інструментом.

Що викладачі роблять із цим екраном, дуже різниться. Власні настанови Turnitin радять їм сприймати оцінку як сигнал почати розмову, а не як вирок, і багато університетів прописали цю обережність у своїх політиках. На практиці оцінку 15% у загалом сильній роботі часто ігнорують, тоді як 80% запускає ближчий розгляд вашої історії чернеток, ваших цитувань і того, як есе співвідноситься з вашими попередніми текстами. Число відкриває справу; закриває її людина.

Чи виявляє Turnitin перефразований або гуманізований текст?

Іноді так, і саме тут точиться гонка озброєнь. У 2024 році Turnitin додав детекцію ШІ-перефразування, шар, навчений виявляти текст, який був згенерований LLM і потім пропущений через інструмент перефразування. Дешеве перефразування, тобто заміна синонімів зі збереженням початкової структури речень, це саме те, що цей шар ловить, бо статистичний скелет машинного тексту переживає заміну слів.

Глибоке переписування виглядає інакше. Коли структура речень, ритм і формулювання справді перебудовані, відбиток, на який спирається детектор, зникає. У цьому різниця між прогоном через тезаурус і справжньою гуманізацією, і саме тому серйозний безкоштовний ШІ-гуманізатор показує вам оцінки детекторів до і після, а не просить повірити результатам на слово. Перевірка переписаного тексту реальними детекторами є єдиним чесним способом дізнатися, чи спрацювало перетворення.

Чи ловить він ШІ-текст, який ви відредагували самостійно?

Злегка відредагований ШІ-текст зазвичай усе одно позначається. Заміна кількох слів, видалення вступу чи перестановка двох абзаців не змінює статистику на рівні речень, яку вимірює детектор, тож більша частина документа все ще читається як машинне письмо. Студентів це регулярно дивує: п'ятнадцять хвилин шліфування відчуваються як справжня робота, але оцінку вони майже не зрушують.

Сильно переписаний текст зловити значно важче, і Turnitin сам це визнає. У його документації зазначено, що надійність падає на документах зі змішаним авторством, і саме тому існує зірочка на низьких оцінках. Якщо ви взяли в ChatGPT план чи чорновий варіант, а потім переписали кожне речення власним голосом, зі своїми прикладами і своїми переходами, фінальний текст за будь-якою статистичною міркою здебільшого ваш. Детектор добре знаходить машинну прозу. Але він не має жодного способу побачити ідеї під нею.

GPT-4, Claude, Gemini: чи має значення модель?

Менше, ніж хотілося б. Turnitin навчав свій детектор на виводі великих мовних моделей як категорії, а не одного продукту, і кожна велика чат-модель має ту саму базову звичку: передбачати найімовірніше наступне слово. Стандартний вивід GPT-4o, Claude і Gemini несе однаковий гладкий, рівний відбиток, і тестування стабільно показує, що Turnitin позначає всі три з високою частотою, коли текст не відредагований.

Два нюанси реальні. Новіші моделі трохи менш передбачувані, ніж текст GPT-3.5, під який детектор початково налаштовували, тож частота виявлення на передових моделях може дещо просідати, доки Turnitin не перенавчиться, а робить він це регулярно. А трюки з промптами на кшталт "пиши як людина" чи "додай берстовості" змінюють поверхневий стиль значно менше, ніж люди думають, бо під цим костюмом модель усе одно обирає слова з високою ймовірністю. Зміна чат-бота не є стратегією проти детекції.

Як студенти насправді попадаються

Сама по собі висока оцінка ШІ рідко когось топить. Реальні справи будуються з ланцюжка доказів, і індикатор лише перша ланка. Патерн, який описують викладачі, стабільний: високий відсоток, плюс документ без історії версій, плюс текст, помітно відшліфованіший чи загальніший за попередні роботи студента, плюс змістові проблеми на кшталт розмитих аргументів чи цитувань, яких не існує.

Останнє заслуговує на наголос. Сфабриковані посилання є найубивчішим артефактом у справах про недоброчесність із ШІ, бо їх неможливо пояснити стилем письма. З оцінкою детектора можна сперечатися; з процитованою статтею, яка ніколи не була опублікована, ні. Якщо ви взагалі користуєтеся ШІ-інструментами, у будь-якій дозволеній якості, перевіряйте кожне джерело вручну, зберігайте чернетки і пишіть голосом, що відповідає решті ваших робіт. Студенти, яких ловлять, майже ніколи не попадаються лише через відсоток.

Що робити, якщо вас звинуватили несправедливо

Хибні спрацьовування трапляються, і Turnitin це визнає. Дослідження також показали, що детектори ШІ як клас позначають тексти людей, для яких англійська не рідна, з підвищеною частотою, імовірно тому, що ретельна вивчена англійська зазвичай одноманітніша і передбачуваніша, а саме ці якості детектори читають як машинні. Якщо ви написали роботу чесно і вас позначили, у вас є позиція для захисту, тож не панікуйте і не зізнавайтеся в тому, чого не робили.

Зберіть файл доказів до зустрічі. Історія версій із Google Docs чи Word є вашим найсильнішим артефактом, бо вона показує, як есе росло речення за реченням упродовж годин. Додайте нотатки, плани, історію пошуку в браузері та попередні оцінені роботи, що демонструють ваш стиль. Попросіть показати сам звіт і вкажіть на опубліковані застереження самого Turnitin: зірочку на низьких оцінках, частоту хибних спрацьовувань на рівні речень і пряму заяву компанії, що індикатор не можна використовувати як єдиний доказ. У більшості закладів є процедура апеляції. Скористайтеся нею спокійно і письмово.

Перевірте свою роботу перед здачею

Ось практична прикрість: студенти не можуть побачити оцінку ШІ від Turnitin до здачі, тож про проблему ви часто дізнаєтеся в найгірший можливий момент. Обхідний шлях: спочатку протестувати чернетку незалежними детекторами. Вони не ідентичні Turnitin, але вимірюють ті самі статистичні сигнали, і чернетка, чиста на кількох детекторах, навряд чи запалить індикатор.

Саме для цього створено Humanize AI. Вставте текст або завантажте файл PDF чи DOCX, і ви отримаєте живу оцінку ймовірності ШІ від двох незалежних детекторів ще до будь-яких змін, а потім свіжу оцінку після гуманізації, будь-якою з 40 мов, без реєстрації та без лімітів на слова. Якщо ваша оцінка вища за очікувану, наш посібник про те, як обійти детекцію ШІ в Turnitin, показує, як чесно її знизити, коли більшість роботи виконує ваш власний голос.

Поширені запитання