Ali Turnitin zazna ChatGPT? Iskren odgovor

Neposredni odgovor: da, s pomembnimi zadržki

Turnitin ima indikator pisanja z AI v svojih poročilih o podobnosti od aprila 2023 in zgrajen je bil prav zato, da opazi besedilo velikih jezikovnih modelov, kot je ChatGPT. Če odgovor iz ChatGPT prilepite naravnost v esej in ga oddate, obstaja zelo velika verjetnost, da bo Turnitin večino tega označil. Ta del je jasen.

Zadržki so enako pomembni. Indikator je statistična ocena, ne dokaz. Zažene se samo pri oddajah, ki izpolnjujejo minimalne zahteve, trenutno vsaj 300 besed proze. Manj zanesljiv je pri mešanih človeško-AI dokumentih, ima dokumentiran problem lažnih pozitivov na ravni stavkov in Turnitin sam učiteljem pravi, da ocena nikoli ne sme biti edina podlaga za odločitev o akademski kršitvi. Torej, ali Turnitin lahko zazna AI? Da. Ali lahko dokaže, da ste ga uporabili? Ne, in prav v tej vrzeli se odloči vsak resničen primer.

Kako deluje Turnitinov indikator pisanja z AI

Turnitin vašega eseja ne primerja z bazo izhodov ChatGPT. Namesto tega dokument razbije na prekrivajoče se segmente po nekaj sto besed in nato vsak stavek oceni po tem, kako statistično predvidljiv je. Jezikovni modeli pišejo tako, da znova in znova izberejo najverjetnejšo naslednjo besedo, kar ustvarja nenavadno gladko, enakomerno besedilo z malo presenečenji. Človeško pisanje je bolj neurejeno: dolžine stavkov se spreminjajo, izbire besed so občasno nenavadne in ritem se dviga in spušča.

Signala, ki poganjata večino tega, sta perpleksnost, torej kako predvidljive so vaše izbire besed, in razgibanost, torej koliko se spreminja zgradba vaših stavkov. Če je odlomek dosledno gladek in dosledno enakomeren, model njegove stavke označi kot verjetno AI. Mehaniko podrobneje razčlenimo v vodniku o tem, kako delujejo detektorji AI, a ključna točka je preprosta: Turnitin zaznava statistični prstni odtis strojnega pisanja, ne vsebine katerega koli določenega klepetalnika.

Kaj odstotek v resnici pomeni

Številka, ki jo vidijo učitelji, je odstotek ustreznih stavkov v vašem dokumentu, za katere model verjame, da so bili ustvarjeni z AI. Ocena 40 % ne pomeni, da je Turnitin 40-odstotno prepričan, da ste goljufali. Pomeni, da je bilo približno 40 % vaših proznih stavkov za model videti strojno napisanih. To sta zelo različni trditvi in njuno mešanje je najpogostejša napaka na sestankih o kršitvah.

Vredno je poznati dve podrobnosti. Prvič, Turnitin ocene med 1 % in 19 % prikazuje z zvezdico, ker je njegova lastna raziskava ugotovila, da nizke ocene pogosteje vsebujejo lažne pozitive, in nekatere institucije poročila nastavijo tako, da ta razpon povsem skrijejo. Drugič, indikator prezre besedilo, ki ne ustreza pogojem, na primer alineje, kodo, tabele in zelo kratke stavke, zato odstotek opisuje le del vašega dokumenta.

Kako natančno je Turnitinovo zaznavanje AI?

Turnitinova objavljena trditev je, da indikator prepozna pisanje z AI s približno 98-odstotno natančnostjo, hkrati pa ohranja delež lažnih pozitivov na ravni dokumenta pod 1 % za naloge, v katerih je več kot 20 % besedila ustvarjenega z AI. Te številke prihajajo iz Turnitinovega lastnega laboratorijskega testiranja in opisujejo specifičen scenarij: večinoma neurejeno besedilo AI v angleški prozi.

Neodvisen pregled je bil manj laskav. Kmalu po izidu je Turnitin priznal, da so lažni pozitivi na ravni stavkov višji od pričakovanih, bliže 4 % pri dokumentih z mešanico človeškega in AI pisanja. Novinarji, ki so orodje testirali leta 2023, so ugotovili, da se spotika ob hibridnih esejih, spregleda odlomke AI in označuje človeške. Avgusta 2023 pa je univerza Vanderbilt funkcijo javno izklopila z argumentom, da je tveganje lažnih pozitivov previsoko, da bi na njihovi podlagi ukrepali. Poštena ocena natančnosti Turnitinovega zaznavanja AI: močna na čistem, neurejenem izhodu ChatGPT, občutno šibkejša na vsem vmes.

Kaj vaš učitelj v resnici vidi

Študenti ocene AI običajno sploh ne morejo videti. Indikator se v učiteljevem pogledu poročila o podobnosti pojavi kot majhna značka z odstotkom, ločena od ocene plagiatorstva. Klik nanjo odpre poročilo, v katerem so označeni stavki poudarjeni, z eno barvo za besedilo, ocenjeno kot ustvarjeno z AI, in drugo za besedilo, ocenjeno kot ustvarjeno z AI in nato parafrazirano z orodjem.

Kaj učitelji s tem zaslonom naredijo, se izjemno razlikuje. Turnitinova lastna navodila jim naročajo, naj oceno obravnavajo kot signal za začetek pogovora, ne kot razsodbo, in mnoge univerze so to previdnost zapisale v pravila. V praksi je ocena 15 % pri sicer močni nalogi pogosto prezrta, medtem ko ocena 80 % sproži podrobnejši pregled zgodovine vaših osnutkov, vaših citatov in primerjave eseja z vašim prejšnjim pisanjem. Številka odpre spis; človek ga zapre.

Ali Turnitin zazna parafrazirano ali humanizirano besedilo?

Včasih, in tukaj živi oboroževalna tekma. Leta 2024 je Turnitin dodal zaznavanje parafraziranja AI, plast, natrenirano, da opazi besedilo, ki ga je generiral velik jezikovni model in je bilo nato spuščeno skozi orodje za parafraziranje. Poceni parafraziranje, torej zamenjave sopomenk, ki izvirno zgradbo stavkov pustijo nedotaknjeno, je natanko tisto, kar ta plast ujame, ker statistični skelet strojnega besedila preživi spremembe besed.

Globlje prepisovanje je druga zgodba. Ko so zgradba stavkov, ritem in ubeseditev resnično prenovljeni, prstni odtis, na katerega se detektor zanaša, zbledi. To je razlika med prehodom s slovarjem sopomenk in pravo humanizacijo, in zato vam resen brezplačni humanizator AI pokaže ocene zaznavanja prej in potem, namesto da bi zahteval, da rezultatom verjamete na besedo. Testiranje prepisanega besedila na dejanskih detektorjih je edini pošten način, da veste, ali je preobrazba uspela.

Ali ujame besedilo AI, ki ste ga uredili sami?

Rahlo urejeno besedilo AI je običajno še vedno označeno. Sprememba peščice besed, izbris uvoda ali preureditev dveh odstavkov ne spremeni statistike na ravni stavkov, ki jo detektor meri, zato se večina dokumenta še vedno bere kot strojno pisanje. Študente to redno preseneti: petnajst minut piljenja se zdi pravo delo, a oceno komaj premakne.

Močno prepisano besedilo je veliko težje ujeti in Turnitin to tudi pove. Njegova dokumentacija navaja, da zanesljivost pade pri dokumentih z mešanim avtorstvom, in prav zato obstaja zvezdica pri nizkih ocenah. Če ste ChatGPT uporabili za oris ali grobi osnutek in nato vsak stavek prepisali s svojim glasom, s svojimi primeri in s svojimi prehodi, je končno besedilo po vsakem statističnem merilu pretežno vaše. Detektor je dober v iskanju strojne proze. Idej pod njo ne more videti.

GPT-4, Claude, Gemini: ali je model pomemben?

Manj, kot bi upali. Turnitin je svoj detektor natreniral na izhodu velikih jezikovnih modelov kot kategorije, ne enega izdelka, in vsak večji klepetalni model deli isto temeljno navado: napovedovanje najverjetnejše naslednje besede. Privzeti izhod GPT-4o, Claude in Gemini nosi isti gladki, enakomerni prstni odtis in testiranja dosledno kažejo, da Turnitin vse tri označuje z visokimi deleži, kadar je besedilo neurejeno.

Dve niansi sta resnični. Novejši modeli so za odtenek manj predvidljivi od besedila GPT-3.5, na katerem je bil detektor prvotno uglašen, zato lahko deleži zaznav pri najnovejših modelih rahlo padejo, dokler Turnitin ne natrenira znova, kar počne redno. In pozivni triki, kot sta "piši kot človek" ali "dodaj razgibanost", površinski slog spremenijo veliko manj, kot ljudje mislijo, ker model pod kostumom še vedno izbira besede z visoko verjetnostjo. Menjava klepetalnika ni strategija proti zaznavanju.

Kako so študenti v resnici odkriti

Visoka ocena AI sama po sebi le redko koga potopi. Resnični primeri so zgrajeni iz verige dokazov in indikator je le prvi člen. Vzorec, ki ga opisujejo učitelji, je dosleden: visok odstotek, plus dokument brez zgodovine različic, plus pisanje, ki je opazno bolj izpiljeno ali bolj generično od študentovega prejšnjega dela, plus vsebinske težave, kot so nejasni argumenti ali citati, ki ne obstajajo.

Zadnje si zasluži poudarek. Izmišljene reference so najbolj obremenilni artefakt v primerih kršitev z AI, ker jih ni mogoče pojasniti s slogom pisanja. Z oceno detektorja se je mogoče prepirati; s citiranim člankom, ki ni bil nikoli objavljen, ne. Če orodja AI sploh uporabljate, v kakršni koli dovoljeni vlogi, ročno preverite vsak vir, hranite osnutke in pišite z glasom, skladnim z ostalim vašim delom. Študenti, ki so ujeti, skoraj nikoli niso ujeti samo zaradi odstotka.

Kaj storiti, če ste po krivem obtoženi

Lažni pozitivi se dogajajo in Turnitin to priznava. Raziskave so tudi pokazale, da detektorji AI kot razred pogosteje označujejo pisce, ki jim angleščina ni materni jezik, verjetno zato, ker je skrbna, naučena angleščina navadno bolj enotna in predvidljiva, torej natanko takšna, kakršno detektorji berejo kot strojno. Če ste nalogo napisali pošteno in ste bili označeni, imate obranljiv položaj, zato ne paničarite in ne priznavajte nečesa, česar niste storili.

Pred sestankom si pripravite mapo dokazov. Zgodovina različic iz Google Dokumentov ali Worda je najmočnejši artefakt, ki ga imate, ker kaže, kako esej stavek za stavkom raste več ur. Dodajte zapiske, orise, zgodovino brskanja pri raziskovanju in prejšnja ocenjena besedila, ki kažejo vaš slog. Prosite za vpogled v dejansko poročilo in opozorite na Turnitinove lastne objavljene zadržke: zvezdico pri nizkih ocenah, delež lažnih pozitivov na ravni stavkov in izrecno izjavo podjetja, da indikator ne sme biti uporabljen kot edini dokaz. Večina institucij ima pritožbeni postopek. Uporabite ga mirno in pisno.

Preverite svoje delo, preden ga oddate

Tu je praktična frustracija: študenti Turnitinove ocene AI pred oddajo ne morejo videti, zato je trenutek, ko izveste za težavo, pogosto najslabši možni. Rešitev je, da osnutek najprej testirate na neodvisnih detektorjih. Niso identični Turnitinu, a merijo iste statistične signale, in osnutek, ki je čist na več detektorjih, zelo verjetno ne bo prižgal indikatorja.

Prav za to je zgrajen Humanize AI. Prilepite besedilo ali naložite datoteko PDF ali DOCX in dobite živo oceno verjetnosti AI iz dveh neodvisnih detektorjev, še preden karkoli spremenite, nato pa svežo oceno po humaniziranju, v katerem koli od 40 jezikov, brez prijave in brez omejitev besed. Če je vaša ocena višja od pričakovane, vas naš vodnik o tem, kako obiti Turnitinovo zaznavanje AI, popelje skozi pošteno zniževanje, pri katerem večino dela opravi vaš lastni glas.

Pogosto zastavljena vprašanja