Detekuje Turnitin ChatGPT? Upřímná odpověď

Přímá odpověď: ano, s důležitými výhradami

Turnitin zahrnuje indikátor AI psaní ve svých reportech podobnosti od dubna 2023 a byl postaven konkrétně na odhalování textu z velkých jazykových modelů, jako je ChatGPT. Pokud odpověď z ChatGPT vložíte rovnou do eseje a odevzdáte ji, je velmi vysoká šance, že Turnitin většinu z ní označí. Tahle část je vyřešená.

Výhrady jsou ale stejně důležité. Indikátor je statistický odhad, ne důkaz. Běží jen na pracích, které splňují minimální požadavky, aktuálně alespoň 300 slov prózy. Je méně spolehlivý na dokumentech míchajících lidské a AI psaní, má doložený problém s falešnými poplachy na úrovni vět a sám Turnitin říká vyučujícím, že skóre by nikdy nemělo být jediným podkladem rozhodnutí o akademickém podvodu. Takže dokáže Turnitin detekovat AI? Ano. Dokáže dokázat, že jste ji použili? Ne, a v této mezeře se rozhoduje každý skutečný případ.

Jak funguje indikátor AI psaní v Turnitinu

Turnitin neporovnává vaši esej s databází výstupů ChatGPT. Místo toho rozdělí dokument na překrývající se segmenty o několika stech slovech a pak každou větu ohodnotí podle toho, jak je statisticky předvídatelná. Jazykové modely píšou opakovaným výběrem nejpravděpodobnějšího dalšího slova, což produkuje neobvykle hladký, rovnoměrný text s minimem překvapení. Lidské psaní je chaotičtější: délky vět se mění, volby slov jsou občas zvláštní a rytmus stoupá a klesá.

Dva signály, které to většinou pohánějí, jsou perplexita, tedy jak předvídatelné jsou vaše volby slov, a burstiness, tedy jak moc se mění stavba vašich vět. Pokud je pasáž konzistentně hladká a konzistentně rovnoměrná, model její věty označí jako pravděpodobně AI. Mechaniku rozebíráme podrobněji v průvodci tím, jak fungují detektory AI, ale klíčový bod je prostý: Turnitin detekuje statistický otisk strojového psaní, ne obsah žádného konkrétního chatbota.

Co procentní skóre skutečně znamená

Číslo, které vyučující vidí, je procento kvalifikujících se vět v dokumentu, o kterých model věří, že je vygenerovala AI. Skóre 40 % neznamená, že si je Turnitin ze 40 % jistý, že jste podváděli. Znamená, že zhruba 40 % vašich vět prózy vypadalo pro model jako napsané strojem. To jsou velmi odlišná tvrzení a jejich zaměňování je nejčastější chyba na jednáních o akademickém podvodu.

Dva detaily stojí za to znát. Zaprvé, Turnitin zobrazuje skóre mezi 1 % a 19 % s hvězdičkou, protože jeho vlastní výzkum zjistil, že nízká skóre častěji obsahují falešné poplachy, a některé instituce nastavují reporty tak, že toto pásmo úplně potlačují. Zadruhé, indikátor ignoruje text, který se nekvalifikuje, například odrážkové seznamy, kód, tabulky a velmi krátké věty, takže procento popisuje jen část vašeho dokumentu.

Jak přesná je detekce AI v Turnitinu?

Publikované tvrzení Turnitinu zní, že indikátor identifikuje AI psaní s přibližně 98% přesností a přitom drží míru falešných poplachů na úrovni dokumentu pod 1 % u prací, kde je více než 20 % textu vygenerováno AI. Tato čísla pocházejí z vlastního laboratorního testování Turnitinu a popisují konkrétní scénář: převážně neupravený AI text v anglické próze.

Nezávislé přezkoumání bylo méně lichotivé. Krátce po spuštění Turnitin přiznal, že falešné poplachy na úrovni vět byly vyšší, než se čekalo, blíž 4 % u dokumentů se směsí lidského a AI psaní. Novináři, kteří nástroj v roce 2023 testovali, zjistili, že klopýtá na hybridních esejích, přehlíží AI pasáže a označuje ty lidské. A v srpnu 2023 Vanderbiltova univerzita funkci veřejně vypnula s argumentem, že riziko falešných poplachů je příliš vysoké na to, aby se podle nich jednalo. Férové shrnutí přesnosti detekce AI v Turnitinu: silná na čistém, neupraveném výstupu ChatGPT, znatelně slabší na všem mezi tím.

Co váš učitel skutečně vidí

Studenti obvykle AI skóre vůbec nevidí. Indikátor se v učitelském zobrazení reportu podobnosti objevuje jako malý procentní štítek, oddělený od skóre plagiátorství. Kliknutím se otevře report, kde jsou označené věty zvýrazněné, jednou barvou text posouzený jako vygenerovaný AI a druhou text posouzený jako vygenerovaný AI a poté parafrázovaný nástrojem.

Co vyučující s touto obrazovkou dělají, se ohromně liší. Vlastní pokyny Turnitinu jim říkají, aby skóre brali jako signál k zahájení rozhovoru, ne jako verdikt, a mnoho univerzit tuto opatrnost zapsalo do směrnic. V praxi se 15 % na jinak silné práci často ignoruje, zatímco 80 % spouští bližší pohled na historii vašich konceptů, vaše citace a na to, jak esej vypadá ve srovnání s vaším předchozím psaním. Číslo spis otevírá; člověk ho zavírá.

Detekuje Turnitin parafrázovaný nebo humanizovaný text?

Někdy, a právě tady se odehrávají závody ve zbrojení. V roce 2024 Turnitin přidal detekci AI parafrázování, vrstvu natrénovanou na odhalení textu, který byl vygenerován LLM a pak prohnán parafrázovacím nástrojem. Laciné parafrázování, tedy záměny synonym, které nechávají původní stavbu vět nedotčenou, je přesně to, co tato vrstva chytá, protože statistická kostra strojového textu změny slov přežije.

Hlubší přepis je jiný příběh. Když se stavba vět, rytmus a formulace skutečně přestaví, otisk, o který se detektor opírá, mizí. To je rozdíl mezi průchodem tezaurem a skutečnou humanizací a právě proto vám seriózní bezplatný AI humanizér ukazuje skóre detekce před a po, místo aby vás žádal o slepou víru. Otestovat přepsaný text proti skutečným detektorům je jediný poctivý způsob, jak zjistit, zda proměna zafungovala.

Chytí AI text, který jste sami upravili?

Lehce upravený AI text obvykle stále skončí označený. Změna hrstky slov, smazání úvodu nebo prohození dvou odstavců nezmění statistiku na úrovni vět, kterou detektor měří, takže většina dokumentu se stále čte jako strojové psaní. Studenty to pravidelně překvapuje: patnáct minut leštění působí jako skutečná práce, ale skóre to skoro nepohne.

Silně přepsaný text je mnohem těžší chytit a Turnitin to sám říká. Jeho dokumentace uvádí, že spolehlivost klesá u dokumentů se smíšeným autorstvím, což je přesně důvod, proč existuje hvězdička u nízkých skóre. Pokud jste ChatGPT použili na osnovu nebo hrubý koncept a pak každou větu přepsali vlastním hlasem, s vlastními příklady a vlastními přechody, je finální text podle jakéhokoli statistického měřítka převážně váš. Detektor umí najít strojovou prózu. Nemá jak vidět myšlenky pod ní.

GPT-4, Claude, Gemini: záleží na modelu?

Méně, než byste doufali. Turnitin trénoval svůj detektor na výstupu velkých jazykových modelů jako kategorie, ne na jednom produktu, a každý velký chatovací model sdílí stejný základní návyk: předpovídání nejpravděpodobnějšího dalšího slova. Výchozí výstup GPT-4o, Claude i Gemini nese stejný hladký, rovnoměrný otisk a testování konzistentně ukazuje, že Turnitin všechny tři označuje ve vysokých mírách, když je text neupravený.

Dvě nuance jsou skutečné. Novější modely jsou o něco méně předvídatelné než text GPT-3.5, na který byl detektor původně laděn, takže míry detekce na špičkových modelech mohou mírně klesnout, dokud Turnitin nepřetrénuje, což dělá pravidelně. A promptovací triky jako "piš jako člověk" nebo "přidej burstiness" mění povrchový styl daleko méně, než si lidé myslí, protože model pod kostýmem stále volí vysoce pravděpodobná slova. Přepínání chatbotů není detekční strategie.

Jak se studenti skutečně nechají chytit

Samotné vysoké AI skóre málokdy někoho potopí. Skutečné případy se staví z řetězu důkazů a indikátor je jen první článek. Vzorec, který vyučující popisují, je konzistentní: vysoké procento, plus dokument bez historie verzí, plus psaní znatelně uhlazenější nebo generičtější než dřívější práce studenta, plus obsahové problémy jako vágní argumenty nebo citace, které neexistují.

Ta poslední položka zaslouží důraz. Vymyšlené reference jsou tím vůbec nejvíce usvědčujícím artefaktem v případech AI podvodů, protože je nelze vysvětlit stylem psaní. Se skóre detektoru se dá polemizovat; s citovanou prací, která nikdy nevyšla, ne. Pokud AI nástroje vůbec používáte, v jakémkoli povoleném rozsahu, ověřujte každý zdroj ručně, schovávejte si koncepty a pište hlasem konzistentním se zbytkem vaší práce. Studenti, kteří se nechají chytit, nejsou téměř nikdy chyceni jen na procento.

Co dělat při falešném obvinění

Falešné poplachy se stávají a Turnitin to přiznává. Výzkum také ukázal, že detektory AI jako kategorie označují nerodilé mluvčí angličtiny ve zvýšených mírách, pravděpodobně proto, že pečlivá, naučená angličtina bývá uniformnější a předvídatelnější, což jsou přesně vlastnosti, které detektory čtou jako strojové. Pokud jste práci napsali poctivě a byli označeni, máte obhajitelnou pozici, takže nepanikařte a nepřiznávejte se k něčemu, co jste neudělali.

Před schůzkou si sestavte složku důkazů. Historie verzí z Google Docs nebo Wordu je nejsilnější artefakt, který máte, protože ukazuje, jak esej rostla větu po větě celé hodiny. Přidejte poznámky, osnovy, historii rešerší v prohlížeči a dřívější oznámkované psaní, které ukazuje váš styl. Požádejte o nahlédnutí do samotného reportu a odkažte na vlastní publikované výhrady Turnitinu: hvězdičku u nízkých skóre, míru falešných poplachů na úrovni vět a výslovné prohlášení společnosti, že indikátor by neměl sloužit jako jediný důkaz. Většina institucí má odvolací proces. Použijte ho v klidu a písemně.

Zkontrolujte si práci před odevzdáním

A tady je praktická frustrace: studenti nemohou vidět AI skóre Turnitinu před odevzdáním, takže o problému se často dozvíte v nejhorší možný moment. Řešením je otestovat koncept nejdřív proti nezávislým detektorům. Nejsou totožné s Turnitinem, ale měří stejné statistické signály a koncept, který projde čistě přes více detektorů, indikátor velmi pravděpodobně nerozsvítí.

Přesně na tohle je postaven Humanize AI. Vložte text, nebo nahrajte soubor PDF či DOCX, a dostanete živé skóre pravděpodobnosti AI ze dvou nezávislých detektorů, ještě než cokoli změníte, a pak čerstvé skóre po humanizaci, v kterémkoli ze 40 jazyků, bez registrace a bez limitů slov. Pokud je vaše skóre vyšší, než jste čekali, náš průvodce o tom, jak obejít detekci AI v Turnitinu, vás provede jeho poctivým snížením, při kterém většinu práce odvede váš vlastní hlas.

Často kladené otázky