Észleli a Turnitin a ChatGPT-t? Az őszinte válasz

A közvetlen válasz: igen, fontos fenntartásokkal

A Turnitin 2023 áprilisa óta tartalmaz AI-írásjelzőt a hasonlósági jelentéseiben, és kifejezetten arra építették, hogy kiszúrja az olyan nagy nyelvi modellekből származó szöveget, mint a ChatGPT. Ha egy ChatGPT-választ egyenesen egy esszébe illesztesz, és beadod, nagyon nagy az esélye, hogy a Turnitin a nagy részét megjelöli. Ez a rész eldőlt.

A fenntartások ugyanennyire számítanak. A jelző statisztikai becslés, nem bizonyíték. Csak azokra a beadványokra fut le, amelyek megfelelnek a minimumkövetelményeknek, jelenleg legalább 300 szónyi prózára. Kevésbé megbízható a vegyes, emberi és AI dokumentumokon, dokumentált téves találati problémája van mondatszinten, és maga a Turnitin is azt mondja az oktatóknak, hogy a pontszám soha nem lehet egyedüli alapja egy tudományos vétséggel kapcsolatos döntésnek. Tehát képes a Turnitin észlelni az AI-t? Igen. Be tudja bizonyítani, hogy használtad? Nem, és minden valódi ügy ebben a résben dől el.

Hogyan működik a Turnitin AI-írásjelzője

A Turnitin nem veti össze az esszédet a ChatGPT-kimenetek adatbázisával. Ehelyett néhány száz szavas, egymást átfedő szegmensekre bontja a dokumentumodat, majd minden mondatot aszerint pontoz, mennyire statisztikailag kiszámítható. A nyelvi modellek úgy írnak, hogy ismételten a legvalószínűbb következő szót választják, ami szokatlanul sima, egyenletes, kevés meglepetést tartalmazó szöveget eredményez. Az emberi írás rendezetlenebb: a mondathosszok változnak, a szóválasztások olykor furcsák, a ritmus pedig emelkedik és süllyed.

A két jel, amely ennek nagy részét meghatározza, a perplexitás, vagyis az, hogy mennyire kiszámíthatók a szóválasztásaid, és a burstiness, vagyis az, hogy mennyire változatos a mondatszerkezeted. Ha egy szövegrész következetesen sima és következetesen egyenletes, a modell valószínűsíthetően AI-ként jelöli meg a mondatait. A mechanizmust részletesebben tárgyaljuk a hogyan működnek az AI-detektorok című útmutatónkban, de a lényeg egyszerű: a Turnitin a gépi írás statisztikai ujjlenyomatát észleli, nem egy adott chatbot tartalmát.

Mit jelent valójában a százalékos pontszám

A szám, amit az oktatók látnak, a dokumentumodban szereplő, feltételeknek megfelelő mondatok azon százaléka, amelyekről a modell úgy véli, hogy AI generálta. Egy 40%-os pontszám nem azt jelenti, hogy a Turnitin 40%-ban biztos abban, hogy csaltál. Azt jelenti, hogy a prózamondataid nagyjából 40%-a géppel írtnak tűnt a modell számára. Ezek nagyon eltérő állítások, és összemosásuk a leggyakoribb hiba a vétségekkel kapcsolatos megbeszéléseken.

Két részletet érdemes tudni. Először is, a Turnitin csillaggal jeleníti meg az 1% és 19% közötti pontszámokat, mert saját kutatása azt találta, hogy az alacsony pontszámok nagyobb valószínűséggel tartalmaznak téves találatokat, egyes intézmények pedig úgy állítják be a jelentéseket, hogy ezt a tartományt teljesen elrejtsék. Másodszor, a jelző figyelmen kívül hagyja a feltételeknek nem megfelelő szöveget, például a felsorolásokat, a kódot, a táblázatokat és a nagyon rövid mondatokat, így a százalék a dokumentumodnak csak egy részét írja le.

Mennyire pontos a Turnitin AI-észlelése?

A Turnitin közzétett állítása szerint a jelző körülbelül 98%-os pontossággal azonosítja az AI-írást, miközben a dokumentumszintű téves találati arányt 1% alatt tartja azoknál a dolgozatoknál, ahol a szöveg több mint 20%-a AI által generált. Ezek a számok a Turnitin saját laboratóriumi teszteléséből származnak, és egy konkrét forgatókönyvet írnak le: nagyrészt szerkesztetlen AI-szöveget angol prózában.

A független vizsgálat kevésbé volt hízelgő. Nem sokkal az indulás után a Turnitin elismerte, hogy a mondatszintű téves találatok magasabbak voltak a vártnál, közelebb 4%-hoz azokban a dokumentumokban, amelyek emberi és AI-írást vegyesen tartalmaznak. Az eszközt 2023-ban tesztelő újságírók azt tapasztalták, hogy a hibrid esszéken megbotlott: AI-szövegrészeket hagyott ki, és emberieket jelölt meg. 2023 augusztusában pedig a Vanderbilt Egyetem nyilvánosan kikapcsolta a funkciót, arra hivatkozva, hogy a téves találatok kockázata túl magas ahhoz, hogy annak alapján cselekedjenek. A Turnitin AI-észlelésének pontossága tisztességes összefoglalása: erős a tiszta, szerkesztetlen ChatGPT-kimeneten, érdemben gyengébb minden köztes esetben.

Mit lát valójában a tanárod

A diákok általában egyáltalán nem látják az AI-pontszámot. A jelző az oktató által látott hasonlósági jelentésben egy kis százalékos jelvényként jelenik meg, a plágiumpontszámtól elkülönítve. Rákattintva egy jelentés nyílik meg, ahol a megjelölt mondatok ki vannak emelve, egyik színnel az AI által generáltnak ítélt szöveg, egy másikkal pedig az AI által generáltnak, majd egy eszközzel átfogalmazottnak ítélt szöveg.

Az, hogy az oktatók mit kezdenek ezzel a képernyővel, óriási mértékben változik. A Turnitin saját útmutatása azt mondja nekik, hogy a pontszámot beszélgetés kezdeményezésére szolgáló jelként kezeljék, ne ítéletként, és sok egyetem beleírta ezt az óvatosságot a szabályzatába. A gyakorlatban egy 15%-os pontszámot egy egyébként erős dolgozaton gyakran figyelmen kívül hagynak, míg egy 80%-os pontszám alaposabb vizsgálatot indít el a piszkozataid előzményeivel, a hivatkozásaiddal és azzal kapcsolatban, hogyan viszonyul az esszé a korábbi írásaidhoz. A szám megnyitja az aktát; egy ember zárja le.

Észleli a Turnitin az átfogalmazott vagy humanizált szöveget?

Néha, és itt zajlik a fegyverkezési verseny. 2024-ben a Turnitin hozzáadta az AI-átfogalmazás észlelését, egy réteget, amelyet arra tanítottak be, hogy kiszúrja azt a szöveget, amelyet egy LLM generált, majd egy átfogalmazó eszközön futtattak át. Az olcsó átfogalmazás, vagyis a szinonimacserék, amelyek érintetlenül hagyják az eredeti mondatszerkezetet, pontosan az, amit ez a réteg elkap, mert a gépi szöveg statisztikai váza túléli a szócseréket.

A mélyebb átírás más történet. Amikor a mondatszerkezetet, a ritmust és a megfogalmazást valóban újraépítik, az ujjlenyomat, amelyre a detektor támaszkodik, elhalványul. Ez a különbség egy szótári menet és a valódi humanizálás között, és ezért mutat egy komoly ingyenes AI humanizáló előtte-utána észlelési pontszámokat ahelyett, hogy arra kérne, hogy vakon higgy az eredményekben. Az átírt szöveg valódi detektorokkal való tesztelése az egyetlen őszinte módja annak, hogy megtudd, működött-e az átalakítás.

Elkapja-e az általad magad szerkesztett AI-szöveget?

A könnyedén szerkesztett AI-szöveget általában így is megjelölik. Néhány szó megváltoztatása, egy bevezető törlése vagy két bekezdés átrendezése nem változtatja meg a mondatszintű statisztikákat, amelyeket a detektor mér, így a dokumentum nagy része továbbra is gépi írásnak olvasható. A diákokat rendszeresen meglepi ez: tizenöt perc csiszolás valódi munkának tűnik, de alig mozdítja a pontszámot.

Az alaposan átírt szöveget sokkal nehezebb elkapni, és ezt a Turnitin is elismeri. A dokumentációja megjegyzi, hogy a megbízhatóság csökken a vegyes szerzőségű dokumentumokon, ami pontosan az oka annak, hogy létezik az alacsony pontszám csillaga. Ha a ChatGPT-t egy vázlathoz vagy egy nyers piszkozathoz használtad, majd minden mondatot a saját hangodon írtál át, a saját példáiddal és a saját átvezetéseiddel, a végleges szöveg bármely statisztikai mérce szerint nagyrészt a tiéd. A detektor jól megtalálja a gépi prózát. Semmilyen módon nem látja az alatta rejlő gondolatokat.

GPT-4, Claude, Gemini: számít a modell?

Kevésbé, mint remélnéd. A Turnitin a detektorát a nagy nyelvi modellek kimenetén mint kategórián tanította be, nem egyetlen terméken, és minden jelentős chatmodell osztozik ugyanabban az alapvető szokásban: a legvalószínűbb következő szó megjóslásában. A GPT-4o, a Claude és a Gemini alapértelmezett kimenete mind ugyanazt a sima, egyenletes ujjlenyomatot hordozza, és a tesztelés következetesen azt mutatja, hogy a Turnitin mindhármat magas arányban jelöli meg, amikor a szöveg szerkesztetlen.

Két árnyalat valós. Az újabb modellek épphogy kevésbé kiszámíthatók, mint a GPT-3.5-szöveg, amelyre a detektort eredetileg hangolták, így az élvonalbeli modellek észlelési aránya kissé csökkenhet, amíg a Turnitin újra be nem tanítja, amit rendszeresen megtesz. A promptolási trükkök pedig, mint az "írj úgy, mint egy ember" vagy az "adj hozzá burstinesst", sokkal kevésbé változtatják meg a felszíni stílust, mint az emberek gondolják, mert a modell a jelmez alatt továbbra is nagy valószínűségű szavakat választ. A chatbotváltás nem észlelés elleni stratégia.

Hogyan jelölik meg valójában a diákokat

Egy magas AI-pontszám önmagában ritkán buktat meg bárkit is. A valódi ügyek bizonyítékok láncolatából épülnek fel, és a jelző csak az első láncszem. Az oktatók által leírt minta következetes: egy magas százalék, plusz egy verzióelőzmény nélküli dokumentum, plusz egy írás, amely szembetűnően csiszoltabb vagy általánosabb, mint a diák korábbi munkája, plusz tartalmi problémák, például homályos érvek vagy nem létező hivatkozások.

Ez az utóbbi hangsúlyt érdemel. A koholt hivatkozások a legterhelőbb bizonyítékok az AI-vétségi ügyekben, mert nem magyarázhatók az írási stílussal. Egy detektorpontszámmal lehet vitatkozni; egy soha meg nem jelent, hivatkozott tanulmánnyal nem. Ha egyáltalán használsz AI-eszközöket, bármilyen megengedett módon, ellenőrizz minden forrást kézzel, őrizd meg a piszkozataidat, és olyan hangon írj, amely összhangban van a munkád többi részével. Azokat a diákokat, akiket lebuktatnak, szinte soha nem a százalék buktatja le önmagában.

Mit tegyél, ha hamisan vádolnak

Téves találatok előfordulnak, és a Turnitin ezt elismeri. Kutatások azt is kimutatták, hogy az AI-detektorok mint kategória megnövekedett arányban jelölik meg a nem anyanyelvi angol írókat, valószínűleg azért, mert a gondos, tanult angol hajlamos egységesebb és kiszámíthatóbb lenni, pontosan azok a tulajdonságok, amelyeket a detektorok gépszerűként olvasnak. Ha becsületesen írtad a dolgozatodat, és megjelöltek, védhető pozícióban vagy, ezért ne ess pánikba, és ne vallj be olyasmit, amit nem tettél.

Építsd fel a bizonyítékaid dossziéját a megbeszélés előtt. A Google Docs vagy a Word verzióelőzménye a legerősebb bizonyíték, ami a birtokodban van, mert megmutatja, ahogy az esszé mondatról mondatra nő órákon keresztül. Add hozzá a jegyzeteidet, a vázlataidat, a böngésződ kutatási előzményeit és a korábbi, osztályozott írásaidat, amelyek a stílusodat mutatják. Kérd, hogy lásd a tényleges jelentést, és mutass rá a Turnitin saját közzétett fenntartásaira: az alacsony pontszámok csillagára, a mondatszintű téves találati arányra és a cég kifejezett kijelentésére, hogy a jelzőt nem szabad egyedüli bizonyítékként használni. A legtöbb intézménynek van fellebbezési eljárása. Használd nyugodtan és írásban.

Ellenőrizd a munkádat, mielőtt beadod

Íme a gyakorlati bosszúság: a diákok nem láthatják a Turnitin AI-pontszámát a beadás előtt, így az első alkalom, amikor megtudod, hogy probléma van, gyakran a lehető legrosszabb pillanat. A megoldás az, hogy először független detektorokkal teszteled a piszkozatodat. Nem azonosak a Turnitinnel, de ugyanazokat a statisztikai jeleket mérik, és egy piszkozat, amely több detektoron tiszta pontszámot ér el, nagyon valószínűtlen, hogy felvillantja a jelzőt.

Pontosan erre épült a Humanize AI. Illeszd be a szövegedet, vagy tölts fel egy PDF- vagy DOCX-fájlt, és két független detektortól élő AI-valószínűségi pontszámot kapsz, mielőtt bármit is megváltoztatnál, majd egy friss pontszámot a humanizálás után, a 40 nyelv bármelyikén, regisztráció és szószám-korlátok nélkül. Ha a pontszámod a vártnál magasabb, a hogyan kerüld meg a Turnitin AI-észlelését című útmutatónk végigvezet a becsületes csökkentésén, ahol a munka nagy részét a saját hangod végzi.

Gyakran ismételt kérdések