Odhalí Turnitin ChatGPT? Úprimná odpoveď

Priama odpoveď: áno, s dôležitými výhradami

Turnitin má vo svojich správach o podobnosti indikátor AI písania od apríla 2023 a bol vytvorený špeciálne na odhaľovanie textu z veľkých jazykových modelov, ako je ChatGPT. Ak odpoveď z ChatGPT vložíte priamo do eseje a odovzdáte ju, je veľmi vysoká šanca, že Turnitin väčšinu z nej označí. Táto časť je jasná.

Výhrady sú však rovnako dôležité. Indikátor je štatistický odhad, nie dôkaz. Spúšťa sa len pri odovzdaniach, ktoré spĺňajú minimálne požiadavky, aktuálne aspoň 300 slov súvislého textu. Je menej spoľahlivý pri dokumentoch miešajúcich ľudské a AI písanie, má zdokumentovaný problém s falošne pozitívnymi výsledkami na úrovni viet a samotný Turnitin hovorí vyučujúcim, že skóre by nikdy nemalo byť jediným podkladom pre rozhodnutie o akademickom priestupku. Takže dokáže Turnitin odhaliť AI? Áno. Dokáže dokázať, že ste ju použili? Nie, a práve v tejto medzere sa rozhoduje každý skutočný prípad.

Ako funguje indikátor AI písania v Turnitine

Turnitin neporovnáva vašu esej s databázou výstupov ChatGPT. Namiesto toho rozdelí dokument na prekrývajúce sa segmenty s niekoľkými stovkami slov a potom každú vetu ohodnotí podľa toho, aká je štatisticky predvídateľná. Jazykové modely píšu tak, že opakovane vyberajú najpravdepodobnejšie ďalšie slovo, čo vytvára nezvyčajne hladký, rovnomerný text bez prekvapení. Ľudské písanie je chaotickejšie: dĺžky viet sa menia, výber slov je občas zvláštny a rytmus stúpa a klesá.

Dva signály, ktoré to celé poháňajú, sú perplexita, teda aké predvídateľné sú vaše voľby slov, a burstiness, teda ako veľmi sa mení štruktúra vašich viet. Ak je pasáž konzistentne hladká a konzistentne rovnomerná, model jej vety označí ako pravdepodobne AI. Mechanike sa podrobnejšie venujeme v našom sprievodcovi o tom, ako fungujú AI detektory, ale kľúčový bod je jednoduchý: Turnitin deteguje štatistický odtlačok strojového písania, nie obsah konkrétneho chatbota.

Čo percentuálne skóre v skutočnosti znamená

Číslo, ktoré vyučujúci vidia, je percento kvalifikujúcich sa viet vo vašom dokumente, o ktorých sa model domnieva, že boli generované AI. Skóre 40 % neznamená, že Turnitin je na 40 % presvedčený, že ste podvádzali. Znamená, že zhruba 40 % viet vášho textu vyzeralo pre model ako strojovo napísané. To sú veľmi odlišné tvrdenia a ich zamieňanie je najčastejšou chybou pri pohovoroch o priestupkoch.

Oplatí sa poznať dva detaily. Po prvé, Turnitin zobrazuje skóre medzi 1 % a 19 % s hviezdičkou, pretože jeho vlastný výskum zistil, že nízke skóre častejšie obsahuje falošne pozitívne výsledky, a niektoré inštitúcie majú správy nastavené tak, že tento rozsah úplne potláčajú. Po druhé, indikátor ignoruje text, ktorý sa nekvalifikuje, napríklad odrážkové zoznamy, kód, tabuľky a veľmi krátke vety, takže percento popisuje len časť vášho dokumentu.

Aká presná je detekcia AI v Turnitine?

Zverejnené tvrdenie Turnitinu znie, že indikátor identifikuje AI písanie s presnosťou okolo 98 % a zároveň udržiava mieru falošne pozitívnych výsledkov na úrovni dokumentu pod 1 % pri prácach, kde je viac ako 20 % textu generovaného AI. Tieto čísla pochádzajú z vlastného laboratórneho testovania Turnitinu a popisujú konkrétny scenár: prevažne neupravený AI text v anglickej próze.

Nezávislé preverovanie bolo menej lichotivé. Krátko po spustení Turnitin priznal, že falošne pozitívne výsledky na úrovni viet boli vyššie, než sa čakalo, bližšie k 4 % pri dokumentoch so zmesou ľudského a AI písania. Novinári, ktorí nástroj testovali v roku 2023, zistili, že pri hybridných esejach zakopáva, prehliada AI pasáže a označuje tie ľudské. A v auguste 2023 Vanderbiltova univerzita funkciu verejne vypla s argumentom, že riziko falošne pozitívnych výsledkov je príliš vysoké na to, aby sa podľa nej konalo. Férové zhrnutie presnosti detekcie AI v Turnitine: silná pri čistom, neupravenom výstupe z ChatGPT, výrazne slabšia pri všetkom medzi tým.

Čo váš učiteľ v skutočnosti vidí

Študenti AI skóre väčšinou vôbec nevidia. Indikátor sa zobrazuje v pohľade vyučujúceho na správu o podobnosti ako malý percentuálny štítok, oddelený od skóre plagiátorstva. Kliknutím naň sa otvorí správa, v ktorej sú označené vety zvýraznené, jednou farbou text vyhodnotený ako generovaný AI a druhou text vyhodnotený ako generovaný AI a následne parafrázovaný nástrojom.

Čo vyučujúci s touto obrazovkou robia, sa výrazne líši. Vlastné usmernenie Turnitinu im hovorí, aby skóre brali ako signál na začatie rozhovoru, nie ako verdikt, a mnohé univerzity si túto opatrnosť zapísali do predpisov. V praxi sa 15 % skóre pri inak silnej práci často ignoruje, zatiaľ čo 80 % skóre spustí bližší pohľad na históriu vášho konceptu, vaše citácie a na to, ako esej vyzerá v porovnaní s vaším predchádzajúcim písaním. Číslo spis otvára; človek ho uzatvára.

Odhalí Turnitin parafrázovaný alebo humanizovaný text?

Niekedy áno, a práve tu prebiehajú preteky v zbrojení. V roku 2024 Turnitin pridal detekciu AI parafrázovania, vrstvu vytrénovanú na odhaľovanie textu, ktorý vygeneroval LLM a potom prešiel parafrázovacím nástrojom. Lacné parafrázovanie, teda zámeny synoným, ktoré ponechávajú pôvodnú štruktúru viet nedotknutú, je presne to, čo táto vrstva zachytáva, pretože štatistická kostra strojového textu zmeny slov prežije.

Hlbšie prepisovanie je iný príbeh. Keď sa štruktúra viet, rytmus a formulácie skutočne prestavajú, odtlačok, na ktorý sa detektor spolieha, vybledne. To je rozdiel medzi prechodom cez tezaurus a skutočnou humanizáciou a je to dôvod, prečo vám seriózny bezplatný AI humanizér ukazuje detekčné skóre pred a po namiesto toho, aby od vás žiadal veriť výsledkom. Otestovanie prepísaného textu skutočnými detektormi je jediný úprimný spôsob, ako zistiť, či transformácia zabrala.

Zachytí AI text, ktorý ste sami upravili?

Zľahka upravený AI text zvyčajne stále dostane označenie. Zmena hŕstky slov, vymazanie úvodu alebo preusporiadanie dvoch odsekov nemení štatistiku na úrovni viet, ktorú detektor meria, takže väčšina dokumentu sa stále číta ako strojové písanie. Študentov to pravidelne prekvapuje: pätnásť minút leštenia pôsobí ako skutočná práca, ale skóre takmer nepohne.

Výrazne prepísaný text sa zachytáva oveľa ťažšie a Turnitin to sám hovorí. Jeho dokumentácia uvádza, že spoľahlivosť klesá pri dokumentoch so zmiešaným autorstvom, čo je presne dôvod, prečo existuje hviezdička pri nízkom skóre. Ak ste ChatGPT použili na osnovu alebo hrubý koncept a potom každú vetu prepísali vlastným hlasom, s vlastnými príkladmi a vlastnými prechodmi, výsledný text je podľa akéhokoľvek štatistického merania prevažne váš. Detektor je dobrý v hľadaní strojovej prózy. Nemá ako vidieť myšlienky pod ňou.

GPT-4, Claude, Gemini: záleží na modeli?

Menej, než by ste dúfali. Turnitin trénoval svoj detektor na výstupoch veľkých jazykových modelov ako kategórie, nie na jednom produkte, a každý veľký chatovací model zdieľa rovnaký základný zvyk: predpovedanie najpravdepodobnejšieho ďalšieho slova. Predvolený výstup z GPT-4o, Claude aj Gemini nesie rovnaký hladký, rovnomerný odtlačok a testovanie konzistentne ukazuje, že Turnitin označuje všetky tri vo vysokej miere, keď je text neupravený.

Dve nuansy sú reálne. Novšie modely sú o niečo menej predvídateľné než text z GPT-3.5, na ktorý bol detektor pôvodne ladený, takže miera detekcie pri špičkových modeloch môže mierne klesnúť, kým Turnitin nepretrénuje, čo robí pravidelne. A promptovacie triky ako "píš ako človek" alebo "pridaj burstiness" menia povrchový štýl oveľa menej, než si ľudia myslia, pretože model pod kostýmom stále vyberá vysoko pravdepodobné slová. Prepínanie chatbotov nie je stratégia proti detekcii.

Ako sa študenti v skutočnosti prezradia

Samotné vysoké AI skóre málokoho potopí. Skutočné prípady sa stavajú z reťazca dôkazov a indikátor je len prvý článok. Vzorec, ktorý vyučujúci opisujú, je konzistentný: vysoké percento, plus dokument bez histórie verzií, plus písanie, ktoré je nápadne uhladenejšie alebo všeobecnejšie než skoršie práce študenta, plus obsahové problémy ako vágne argumenty alebo citácie, ktoré neexistujú.

Tá posledná položka si zaslúži dôraz. Vymyslené referencie sú najusvedčujúcejším artefaktom v prípadoch AI priestupkov, pretože sa nedajú vysvetliť štýlom písania. So skóre detektora sa dá polemizovať; s citovanou prácou, ktorá nikdy nevyšla, nie. Ak AI nástroje vôbec používate, v akomkoľvek povolenom rozsahu, overte si každý zdroj ručne, uchovávajte si koncepty a píšte hlasom konzistentným so zvyškom vašej práce. Študenti, ktorých prichytia, takmer nikdy nie sú prichytení len na základe percenta.

Čo robiť, ak ste falošne obvinení

Falošne pozitívne výsledky sa stávajú a Turnitin to priznáva. Výskum tiež ukázal, že AI detektory ako celok označujú pisateľov, pre ktorých angličtina nie je materinský jazyk, vo zvýšenej miere, pravdepodobne preto, že opatrná, naučená angličtina býva rovnomernejšia a predvídateľnejšia, čo sú presne tie vlastnosti, ktoré detektory čítajú ako strojové. Ak ste prácu napísali poctivo a dostali označenie, máte obhájiteľnú pozíciu, takže neprepadajte panike a nepriznávajte sa k niečomu, čo ste neurobili.

Pred stretnutím si pripravte súbor dôkazov. História verzií z Google Docs alebo Wordu je najsilnejší artefakt, aký máte, pretože ukazuje esej rastúcu vetu po vete počas hodín. Pridajte poznámky, osnovy, históriu vyhľadávania z výskumu a skoršie hodnotené práce, ktoré ukazujú váš štýl. Požiadajte o nahliadnutie do samotnej správy a poukážte na vlastné zverejnené výhrady Turnitinu: hviezdičku pri nízkom skóre, mieru falošne pozitívnych výsledkov na úrovni viet a výslovné vyhlásenie spoločnosti, že indikátor by sa nemal používať ako jediný dôkaz. Väčšina inštitúcií má odvolací proces. Využite ho pokojne a písomne.

Skontrolujte si prácu pred odovzdaním

Tu je praktická frustrácia: študenti nevidia AI skóre Turnitinu pred odovzdaním, takže o probléme sa prvýkrát dozviete často v najhorší možný moment. Riešením je otestovať koncept najprv nezávislými detektormi. Nie sú identické s Turnitinom, ale merajú rovnaké štatistické signály a koncept, ktorý má čisté skóre naprieč viacerými detektormi, indikátor pravdepodobne nerozsvieti.

Presne na to je postavený Humanize AI. Vložte text alebo nahrajte súbor PDF či DOCX a dostanete živé skóre pravdepodobnosti AI z dvoch nezávislých detektorov skôr, než čokoľvek zmeníte, a potom čerstvé skóre po humanizácii, v ktoromkoľvek zo 40 jazykov, bez registrácie a bez limitov slov. Ak je vaše skóre vyššie, než ste čakali, náš návod, ako obísť detekciu AI v Turnitine, vás prevedie jeho poctivým znížením, pričom väčšinu práce urobí váš vlastný hlas.

Často kladené otázky