Jak detektory AI skutečně fungují (a proč vás označí)

Co detektor AI ve skutečnosti měří

Detektor AI neví, kdo větu napsal. Váš dokument nikdy předtím neviděl a nemůže ho porovnat s žádnou skrytou databází výstupů ChatGPT. Místo toho hodnotí, jak předvídatelný je váš text ve srovnání se vzorci, které velké jazykové modely obvykle produkují.

Moderní detektory jsou samy modely strojového učení natrénované na milionech lidských i AI pasáží. Hledají statistické otisky, které po sobě generování zanechává, a na výstupu dávají pravděpodobnost. Nic v tomto procesu neověřuje autorství. Detektor nevidí vaši historii prohlížeče a nesleduje, jak píšete; dokáže jen říct, že se váš text podobá, nebo nepodobá strojovému psaní, na kterém byl natrénován.

Představte si to jako spamový filtr. Naučil se, jak obvykle vypadá nevyžádaná pošta, a tak označuje zprávy, které sdílejí její rysy, ale u žádného jednotlivého e-mailu si nikdy nemůže být jistý. Detekce AI funguje stejně, což znamená, že každé skóre je odhad převlečený za číslo. To také mění, jak byste měli výsledek číst: "85 % AI" neznamená, že 85 % vašeho textu napsal stroj. Znamená to, že si je detektor svým odhadem docela jistý.

Perplexita: jak překvapivá jsou vaše slova

Perplexita je ten vůbec nejdůležitější signál. Měří, jak moc je jazykový model překvapen každým slovem, které jste zvolili. Pokud je každé další slovo přesně to, které by model předpověděl, je perplexita nízká a text vypadá jako napsaný strojem. Lidé jsou méně předvídatelní: sáhneme po zvláštním přídavném jménu, porušíme pravidlo nebo něco zformulujeme trochu neobratně, a každá z těchto voleb perplexitu zvyšuje.

Konkrétní dvojice to zviditelní. Věta první: "Pravidelné cvičení je důležité, protože zlepšuje fyzické i duševní zdraví." Věta druhá: "Cvičím dál, protože si má kolena méně stěžují a doručená pošta mi potom připadá méně děsivá." Obě jsou gramaticky správně a obě říkají v zásadě totéž, ale ta první je poskládaná výhradně ze slov, která by jazykový model ohodnotil jako nejpravděpodobnější další volbu; "pravidelné cvičení je důležité, protože" je prakticky šablona. Ta druhá podstupuje malá rizika: kolena, která si stěžují, doručená pošta, která děsí. Model hodnotící pravděpodobnost slovo po slově shledá první větu nepřekvapivou a druhou skutečně těžko předvídatelnou, takže první působí jako AI a druhá jako člověk.

Právě proto bývá označováno i uhlazené, generické psaní, které celé napsal člověk. Perplexita neměří úsilí ani poctivost, jen předvídatelnost, a některé dokonale lidské psaní je velmi předvídatelné.

Burstiness: rytmus skutečného psaní

Burstiness měří variabilitu ve stavbě a délce vět. Lidé píšou v nárazech: dlouhá, klikatá věta následovaná krátkou. Tři slova. A pak souvětí nabité detaily, které se táhne déle, než by asi mělo.

Výstup AI je hladší. Ponechán ve výchozím nastavení produkuje model věty, které se drží kolem stejné délky, začínají podobnými konstrukcemi a dopadají se stejnou rovnoměrnou kadencí, odstavec za odstavcem. Položte oba texty vedle sebe a rozdíl často poznáte dřív, než přečtete jediné slovo: lidský text vypadá na stránce zubatě, strojový text vypadá jako zdivo.

Detektory tuto zubatost kvantifikují. Nízká burstiness plus nízká perplexita je klasický podpis AI, a když jsou přítomny obě, detektor nabude jistoty, že text byl vygenerován, i když jsou téma a gramatika bezchybné. Každý signál sám o sobě je ale slabý. Básník píše s divokou burstiness a smluvní právník téměř bez ní, a oba jsou lidé, a proto seriózní nástroje oba signály vždy kombinují.

Pravděpodobnost tokenů pod kapotou

Jazykové modely píšou token po tokenu a každý token přichází se skóre pravděpodobnosti. Detektory tyto pravděpodobnosti aproximují a kontrolují, zda váš text leží uvnitř "komfortní zóny" pravděpodobných voleb modelu. Když je pasáž postavena téměř výhradně z vysoce pravděpodobných tokenů uspořádaných v rovnoměrném rytmu, odpovídá tomu, jak ChatGPT, Gemini a Claude standardně generují, a detektor tento vzorec převede na procento, které vidíte.

To také vysvětluje, proč jsou krátké úryvky pro testování nespolehlivé. U jedné či dvou vět není dost signálu na odlišení pečlivého člověka od modelu, takže skóre divoce kolísá. Většina výrobců to potichu uznává: několik z nich odmítá hodnotit cokoli pod několik set slov, protože pod touto délkou je ta matematika blíž hodu mincí než měření.

Statistické detektory vs detektory založené na klasifikátorech

Detekční nástroje spadají do dvou rodin a vědět, které z nich čelíte, vysvětluje spoustu podivných výsledků. Statistické detektory používají referenční jazykový model k přímému výpočtu pravděpodobností: prohánějí váš text modelem, měří perplexitu, burstiness a související veličiny a pak aplikují práh. Takto fungují výzkumné metody jako GLTR a DetectGPT a také skórování za mnoha bezplatnými kontrolami. Jejich silou je, že nepotřebují žádná anotovaná trénovací data; jejich slabinou je, že verdikt silně závisí na tom, který referenční model skórování provádí.

Detektory založené na klasifikátorech jsou naopak trénované. Výrobce shromáždí velké korpusy prokazatelně lidského a prokazatelně AI textu a pak doladí model, často transformer typu RoBERTa, aby je od sebe rozeznal. Takto jsou postaveny Turnitin, Originality.ai a Copyleaks. Klasifikátory zachytí jemné signály nad rámec syrové perplexity, takže bývají přesnější na textu podobném jejich trénovacím datům, ale degradují na psaní z novějších modelů, v jiných jazycích nebo v doménách, které nikdy neviděly, a nikdo mimo výrobce nemůže zkontrolovat, co se vlastně naučily.

Většina komerčních produktů je dnes hybridem obou přístupů, což je jeden z důvodů, proč se jejich skóre těžko interpretují a ještě hůř porovnávají mezi nástroji.

Proč je označován výstup z ChatGPT, Gemini a Claude

Špičkové modely jsou trénovány, aby byly jasné, bezpečné a plynulé, a závěrečné kolo tohoto tréninku odměňuje odpovědi, které většina hodnotitelů označí za dobře napsané. To tlačí výstup k vyváženým větám, úhledným přechodům jako "navíc" a "závěrem" a slovní zásobě, která se drží statistického středu cesty.

Přesně tytéž vlastnosti detektory loví. Čím uhlazenější a "průměrnější" psaní, tím nižší jeho perplexita a burstiness a tím vyšší skóre AI. Paradoxně syrové lidské koncepty plné překlepů a zvláštností často projdou snáz než čistý první koncept od AI, protože právě nedokonalosti nesou lidský signál.

Co GPTZero, Turnitin, ZeroGPT a další skutečně kontrolují

Hlavní nástroje sdílejí stejnou základní logiku, ale ladí ji odlišně. GPTZero zpopularizoval skórování perplexity a burstiness a obě hodnoty uvádí na úrovni vět. Turnitin AI integruje detekci do své antiplagiátorské sady pro školy, rozděluje dokumenty na překrývající se segmenty a označuje ty, o kterých jeho klasifikátor věří, že je napsal model.

ZeroGPT nabízí rychlý, bezplatný rozbor po větách, zatímco Originality.ai cílí na vydavatele a SEO týmy přísným skóre váženým podle míry jistoty. Copyleaks klade důraz na pokrytí mnoha jazyků a podnikové reportování. Všechny jsou pravděpodobnostní, a proto žádný nemůže poctivě tvrdit, že je dokonalý, a proto marketing přesnosti každého výrobce potichu popisuje testy, které si výrobce sám navrhl.

Proč se detektory navzájem neshodnou

Vložte stejnou esej do tří detektorů a můžete dostat 2 % AI od jednoho, 45 % od druhého a 88 % od třetího. Tento rozptyl není chyba jednoho z nich; přesně tohle se stane, když různé systémy dělají různé odhady ze stejných důkazů.

Každý nástroj je trénován na vlastním korpusu, skóruje vlastním referenčním modelem, dělí text jinak (celý dokument versus věta po větě) a nastavuje si vlastní práh pro to, co se počítá jako "pravděpodobně AI". Nástroj kalibrovaný tak, aby se vyhnul falešným obviněním, poběží konzervativně a bude označovat málo; nástroj prodávaný na chytání podvodníků poběží agresivně a tentýž text označí nadměrně. Aktualizují se také podle různých plánů, takže detektor vyladěný před vydáním nového modelu bude styl tohoto modelu měsíce posuzovat špatně.

Praktické ponaučení zní, že žádné jednotlivé skóre není definitivní a neshoda mezi nástroji je přímým důkazem toho, kolik hádání je ve hře. Pokud vaše škola kontroluje Turnitinem, záleží jen na verdiktu Turnitinu a čisté skóre jinde ho nepředpovídá ani vás před ním nechrání.

Falešné poplachy: publikovaná čísla

Protože detektory posuzují předvídatelnost, běžně chybují, a nejsou to hypotetické omyly. Vlastní klasifikátor OpenAI, spuštěný v lednu 2023, identifikoval jen 26 % textu napsaného AI a přitom chybně označil 9 % lidského textu za AI, a společnost ho do šesti měsíců stáhla pro nízkou přesnost. Turnitin uvádí míru falešných poplachů na úrovni dokumentu pod 1 %, ale přiznal, že jednotlivé označené věty jsou daleko méně spolehlivé, a proto u dokumentů s jen malým množstvím podezřelého AI textu skóre zadržuje.

Nejznepokojivější zjištění se týká nerodilých mluvčích angličtiny. Výzkumníci ze Stanfordu testovali sedm populárních detektorů na esejích, které pro zkoušku TOEFL napsali skuteční studenti, a zjistili, že v průměru 61 % těchto lidmi napsaných esejí bylo označeno jako vygenerované AI a téměř všechny označil alespoň jeden detektor. Eseje rodilých mluvčích z amerických škol prošly stejnými nástroji téměř bez povšimnutí.

Mechanismus je přesně ten, který popisuje tento článek: pisatelé pracující v druhém jazyce mívají bezpečnější slovní zásobu a pravidelnější stavbu vět, což snižuje perplexitu, což se čte jako strojový text. Ta předpojatost je zabudovaná v samotné metodě. Proto odpovědné školy berou skóre detektoru jako začátek rozhovoru, ne jako důkaz. Číslo není důkaz.

Vodoznaky: řešení, které nedorazilo

Výzkumníci dlouho tvrdí, že skutečným řešením je vodoznak: nechat samotný AI model vložit při generování neviditelný statistický podpis. V nejznámějším schématu model při psaní tajně upřednostňuje rotující "zelený seznam" tokenů. Čtenář si vzorce nevšimne, ale detektor s klíčem ho dokáže otestovat s daleko lepší přesností než hádání podle perplexity.

Většinou to ale nedorazilo. OpenAI postavila textový vodoznak, o kterém se interně uvádělo, že je na dlouhých pasážích účinný asi z 99,9 %, a nechala ho ležet s odkazem na obavy, že parafráze nebo překlad značku odstraní, že by mohl stigmatizovat nerodilé mluvčí, kteří AI legitimně používají k vylepšení textu, a, méně ušlechtile, že by uživatelé prostě přešli k nástrojům, které vodoznak nevkládají. Výjimkou je SynthID-Text od Googlu, který běží uvnitř Gemini a byl uvolněn jako open source, ale značí jen výstup samotného Gemini.

A to je jádro problému: vodoznak pokrývá jen modely, jejichž tvůrci spolupracují, a modely s otevřenými vahami, které si každý může spustit lokálně, ho nikdy nést nebudou. Detektor, který dnes používá vaše škola nebo zaměstnavatel, tedy stále dělá statistiku, nečte vodoznaky, se vší nejistotou, kterou to obnáší.

Jak si detektory poradí se smíšeným lidským a AI textem

Skutečné dokumenty jsou málokdy jednolité. Student napíše úvod sám, požádá ChatGPT o rozšíření dvou odstavců a pak celek zedituje. Detektory to řeší tak, že po dokumentu posouvají okno, hodnotí každou větu nebo segment zvlášť a zvýrazňují úseky, které vypadají vygenerovaně.

Míchání oslabuje každý signál. Lidské úpravy uvnitř AI odstavce zvyšují jeho perplexitu; AI věty uvnitř lidské části táhnou její rytmus k uniformitě. Výsledkem je skóre uprostřed škály, které může znamenat "napůl AI" i "celé lidské, jen zvláštně napsané", a zvýraznění jednotlivých vět je znatelně méně spolehlivé než celkové číslo. Turnitin například uvedl, že jeho označení na úrovni vět nesou vyšší chybovost než skóre dokumentu, a nízká procenta nějakou dobu vůbec nezobrazoval, protože byla tak vratká.

Stručně: čím promíchanější dokument, tím rozmazanější verdikt, a zvýrazněné věty v reportu si zaslouží ještě větší skepsi než titulní procento.

Jak humanizace snižuje skóre

Pokud detektory odměňují vysokou perplexitu a burstiness, řešením je psát víc jako člověk: střídat délku vět, volit méně předvídatelná slova, přidávat přirozené přechody a lámat uniformní rytmus. Dělat to ručně napříč celým dokumentem je pomalé, a proto existuje AI humanizér, který text přepíše a lidskou variabilitu obnoví automaticky.

Nástroj jako Humanize AI přeformuluje výstup modelu tak, aby znovu získal přirozenou burstiness a méně předvídatelné formulace, což mu pomáhá obejít detekci AI při zachování vašeho významu. Zásadní je, že ukazuje skóre před a po ze skutečných detektorů, takže změnu měříte, místo abyste doufali. Cílem není klam, ale psaní, které konečně zní jako vy.

Co to pro vás znamená v praxi

Z fungování této technologie přímo plyne několik návyků. Testujte před odevzdáním, protože hádat skóre je zbytečné, když je kontrola zdarma; svůj koncept můžete prohnat bezplatným AI humanizérem a vidět čísla detektorů dřív než kdokoli jiný. Nikdy nevěřte verdiktu nad krátkou pasáží a zvýraznění jednotlivých vět berte přinejlepším jako slabý důkaz.

Pokud píšete poctivě, schovávejte si doklady: verze konceptů, poznámky a historie úprav jsou daleko lepším důkazem autorství než jakékoli protiskóre, zvlášť pokud jste nerodilý mluvčí píšící ve formálním rejstříku, kterému detektory nedůvěřují. A pokud čelíte konkrétní kontrole, naučte se její konkrétní chování; zejména Turnitin má zvláštnosti, které stojí za to znát, a proto jsme jako doplněk k tomuto článku napsali průvodce Turnitinem.

Především si pamatujte, co detektor je. Je to porovnávač vzorců hodnotící předvídatelnost, postavený výrobcem, vyladěný na určitý práh a měřitelně chybující oběma směry. Někdy užitečný. Důkaz nikdy.

Často kladené otázky