Kako detektorji AI v resnici delujejo (in zakaj vas označijo)

Kaj detektor AI v resnici meri

Detektor AI ne ve, kdo je napisal stavek. Vašega dokumenta ni nikoli prej videl in ga ne more preveriti v skriti bazi izhodov ChatGPT. Namesto tega ocenjuje, kako predvidljivo je vaše besedilo v primerjavi z vzorci, ki jih običajno ustvarjajo veliki jezikovni modeli.

Sodobni detektorji so sami modeli strojnega učenja, natrenirani na milijonih človeških in AI odlomkov. Iščejo statistične prstne odtise, ki jih generiranje pušča za seboj, in nato izpišejo verjetnost. Nič v tem procesu ne preverja avtorstva. Detektor ne vidi vaše zgodovine brskanja in vas ne gleda med tipkanjem; lahko le pove, da je vaše besedilo podobno ali nepodobno strojnemu pisanju, na katerem je bil natreniran.

Predstavljajte si ga kot filter za neželeno pošto. Naučil se je, kako je običajno videti nezaželena pošta, zato označi sporočila, ki delijo te lastnosti, vendar pri nobenem posameznem e-sporočilu ne more biti prepričan. Zaznavanje AI deluje enako, kar pomeni, da je vsaka ocena slutnja, preoblečena v številko. To spremeni tudi, kako bi morali brati rezultat: "85 % AI" ne pomeni, da je 85 % vašega besedila napisal stroj. Pomeni, da je detektor precej prepričan v svoje ugibanje.

Perpleksnost: kako presenetljive so vaše besede

Perpleksnost je najpomembnejši posamezni signal. Meri, kako presenečen je jezikovni model nad vsako besedo, ki ste jo izbrali. Če je vsaka naslednja beseda točno tista, ki bi jo model napovedal, je perpleksnost nizka in besedilo je videti strojno napisano. Ljudje smo manj predvidljivi: sežemo po nenavadnem pridevniku, prekršimo kakšno pravilo ali kaj ubesedimo malce nerodno, in vsaka od teh izbir potisne perpleksnost navzgor.

Konkreten par to naredi vidno. Prvi stavek: "Redna telesna vadba je pomembna, ker izboljšuje tako telesno kot duševno zdravje." Drugi stavek: "Še naprej telovadim, ker se moja kolena manj pritožujejo in ker je moj e-nabiralnik potem videti manj grozljiv." Oba sta slovnično pravilna in oba povesta isto osnovno misel, toda prvi je v celoti sestavljen iz besed, ki bi jih jezikovni model uvrstil med najverjetnejše naslednje izbire; "redna telesna vadba je pomembna, ker" je praktično predloga. Drugi tvega male stvari: kolena, ki se pritožujejo, nabiralnik, ki straši. Model, ki ocenjuje verjetnost besede za besedo, prvi stavek oceni kot nepresenetljiv, drugega pa kot resnično težko predvidljivega, zato se prvi bere kot AI in drugi kot človek.

Zato je označeno tudi zglajeno, generično pisanje, čeprav je vsako besedo napisal človek. Perpleksnost ne meri truda ali poštenosti, samo predvidljivost, in nekaj povsem človeškega pisanja je zelo predvidljivega.

Razgibanost: ritem resničnega pisanja

Razgibanost (burstiness) meri variacijo v zgradbi in dolžini stavkov. Ljudje pišemo v sunkih: dolg, vijugast stavek, ki mu sledi kratek. Tri besede. Nato zapleten stavek, poln podrobnosti, ki se vleče dlje, kot bi se verjetno smel.

Izhod AI je bolj gladek. Model na privzetih nastavitvah ustvarja stavke, ki se gibljejo okoli iste dolžine, se začenjajo s podobnimi konstrukcijami in pristanejo z istim enakomernim ritmom, odstavek za odstavkom. Postavite obe besedili drugo ob drugo in razliko pogosto opazite, še preden preberete besedo: človeško besedilo je na strani videti nazobčano, strojno pa kot zidna opeka.

Detektorji to nazobčanost kvantificirajo. Nizka razgibanost in nizka perpleksnost skupaj sta klasičen podpis AI, in ko sta prisotni obe, detektor postane prepričan, da je bilo besedilo generirano, tudi če sta tema in slovnica brezhibni. Vsak signal sam zase pa je šibek. Pesnik piše z divjo razgibanostjo, pogodbeni odvetnik skoraj brez nje, in oba sta človeka, zato resna orodja vedno kombinirajo oba signala.

Verjetnost žetonov pod pokrovom

Jezikovni modeli pišejo žeton za žetonom in vsak žeton dobi oceno verjetnosti. Detektorji te verjetnosti aproksimirajo in preverjajo, ali vaše besedilo leži znotraj "cone udobja" verjetnih izbir modela. Kadar je odlomek zgrajen skoraj izključno iz žetonov z visoko verjetnostjo, razporejenih v enakomernem ritmu, se ujema s privzetim načinom generiranja modelov ChatGPT, Gemini in Claude, in detektor ta vzorec pretvori v odstotek, ki ga vidite.

To tudi pojasnjuje, zakaj so kratki odlomki nezanesljivi za testiranje. Pri samo enem ali dveh stavkih ni dovolj signala, da bi ločili skrbnega človeka od modela, zato ocene divje nihajo. Večina ponudnikov se tiho strinja: nekateri zavračajo ocenjevanje česarkoli pod nekaj sto besedami, ker je pod to dolžino matematika bližje metu kovanca kot meritvi.

Statistični detektorji proti detektorjem s klasifikatorjem

Orodja za zaznavanje spadajo v dve družini in vedeti, s katero imate opravka, pojasni marsikateri nenavaden rezultat. Statistični detektorji uporabljajo referenčni jezikovni model za neposredni izračun verjetnosti: vaše besedilo spustijo skozi model, izmerijo perpleksnost, razgibanost in sorodne količine, nato uporabijo prag. Raziskovalne metode, kot sta GLTR in DetectGPT, delujejo tako, prav tako ocenjevanje za mnogimi brezplačnimi preverjevalniki. Njihova prednost je, da ne potrebujejo označenih učnih podatkov; njihova slabost je, da je razsodba močno odvisna od tega, kateri referenčni model ocenjuje.

Detektorji s klasifikatorjem so natrenirani. Ponudnik zbere velike korpuse znanega človeškega in znanega AI besedila, nato izpopolni model, pogosto transformer v slogu RoBERTa, da ju loči. Turnitin, Originality.ai in Copyleaks so zgrajeni tako. Klasifikatorji zaznajo subtilne namige onkraj gole perpleksnosti, zato so navadno natančnejši na besedilu, podobnem njihovim učnim podatkom, a se poslabšajo pri pisanju novejših modelov, drugih jezikih ali področjih, ki jih niso nikoli videli, in nihče zunaj podjetja ne more preveriti, česa so se v resnici naučili.

Večina komercialnih izdelkov je danes hibrid obeh pristopov, kar je eden od razlogov, zakaj je njihove ocene težko interpretirati in še težje primerjati med orodji.

Zakaj so izhodi ChatGPT, Gemini in Claude označeni

Vodilni modeli so natrenirani, da so jasni, varni in tekoči, zadnji krog tega treninga pa nagrajuje odgovore, ki jih večina ocenjevalcev oceni kot dobro napisane. To potiska izhod k uravnoteženim stavkom, urejenim prehodom, kot sta "moreover" in "in conclusion", ter besedišču, ki ostaja v statistični sredini.

Prav te lastnosti so tisto, kar detektorji lovijo. Bolj ko je pisanje zglajeno in "povprečno", nižji sta njegova perpleksnost in razgibanost ter višja je ocena AI. Ironično gredo surovi človeški osnutki, polni tipkarskih napak in posebnosti, pogosto lažje skozi kot čist prvi osnutek AI, ker so ravno napake tiste, ki nosijo človeški signal.

Kaj GPTZero, Turnitin, ZeroGPT in drugi v resnici preverjajo

Glavna orodja si delijo isto osnovno logiko, a jo uglasijo različno. GPTZero je populariziral ocenjevanje perpleksnosti in razgibanosti ter obe poroča na ravni stavka. Turnitin AI zaznavanje vključuje v svoj paket za preverjanje plagiatorstva za šole, dokumente razbije na prekrivajoče se segmente in označi tiste, za katere njegov klasifikator verjame, da jih je napisal model.

ZeroGPT ponuja hiter, brezplačen izpis po stavkih, medtem ko Originality.ai cilja na založnike in ekipe SEO s strogo, z zaupanjem uteženo oceno. Copyleaks poudarja večjezično pokritost in poslovna poročila. Vsa so probabilistična, zato nobeno ne more pošteno trditi, da je popolno, in zato marketing o natančnosti vsakega ponudnika tiho opisuje teste, ki si jih je ponudnik zasnoval sam.

Zakaj se detektorji med seboj ne strinjajo

Prilepite isti esej v tri detektorje in lahko dobite 2 % AI od enega, 45 % od drugega in 88 % od tretjega. Ta razpon ni napaka enega od njih; to se zgodi, ko različni sistemi iz istih dokazov naredijo različna ugibanja.

Vsako orodje je natrenirano na svojem korpusu, ocenjuje s svojim referenčnim modelom, besedilo razčlenjuje drugače (celoten dokument proti stavku za stavkom) in postavlja svoj prag za to, kaj šteje kot "verjetno AI". Orodje, umerjeno tako, da se izogne lažnim obtožbam, bo delovalo konservativno in premalo označevalo; orodje, ki se prodaja z lovljenjem goljufov, bo delovalo agresivno in isto besedilo označevalo preveč. Posodabljajo se tudi po različnih urnikih, zato bo detektor, uglašen pred izidom novega modela, slog tega modela mesece napačno presojal.

Praktična lekcija je, da nobena posamezna ocena ni dokončna, in nestrinjanje med orodji je neposreden dokaz, koliko ugibanja je vpletenega. Če vaša šola preverja s Turnitinom, šteje samo Turnitinova razsodba, in čista ocena drugje je niti ne napove niti vas pred njo ne zaščiti.

Lažni pozitivi: objavljene številke

Ker detektorji presojajo predvidljivost, se redno zmotijo, in zgrešitve niso hipotetične. Lasten klasifikator podjetja OpenAI, ki je izšel januarja 2023, je prepoznal le 26 % besedila, napisanega z AI, hkrati pa 9 % človeškega besedila napačno označil kot AI, in podjetje ga je v šestih mesecih umaknilo zaradi nizke natančnosti. Turnitin trdi, da je delež lažnih pozitivov na ravni dokumenta pod 1 %, a je priznal, da so posamezni označeni stavki bistveno manj zanesljivi, zato zadržuje ocene pri dokumentih z le majhnimi količinami domnevnega AI besedila.

Najbolj zaskrbljujoča ugotovitev zadeva nematerne govorce angleščine. Raziskovalci s Stanforda so testirali sedem priljubljenih detektorjev na esejih, ki so jih resnični študenti napisali za izpit TOEFL, in ugotovili, da je bilo v povprečju 61 % teh človeško napisanih esejev označenih kot ustvarjenih z AI, skoraj vse pa je označil vsaj en detektor. Eseji ameriških študentov, ki so materni govorci, so šli skozi ista orodja skoraj nedotaknjeni.

Mehanizem je natanko tak, kot ga opisuje ta članek: pisci, ki delajo v drugem jeziku, uporabljajo varnejše besedišče in bolj pravilne stavčne strukture, kar znižuje perpleksnost, kar se bere kot strojno besedilo. Pristranskost je vgrajena v samo metodo. Zato odgovorne šole oceno detektorja obravnavajo kot začetek pogovora, ne kot dokaz. Številka ni dokaz.

Vodni žigi: rešitev, ki ni zaživela

Raziskovalci že dolgo trdijo, da je prava rešitev vodni žig: da model AI sam ob generiranju vgradi nevidni statistični podpis. V najbolj znani shemi model med pisanjem skrivaj daje prednost rotirajočemu "zelenemu seznamu" žetonov. Bralec vzorca ne more opaziti, detektor s ključem pa ga lahko preveri z bistveno boljšo natančnostjo kot ugibanje na podlagi perpleksnosti.

Večinoma ni zaživelo. OpenAI je izdelal besedilni vodni žig, ki naj bi bil po internih poročilih približno 99,9-odstotno učinkovit na dolgih odlomkih, in ga zadržuje, sklicujoč se na pomisleke, da parafraziranje ali prevajanje žig odstrani, da bi lahko stigmatiziral nematerne govorce, ki AI upravičeno uporabljajo za piljenje, in, manj plemenito, da bi uporabniki preprosto prešli na orodja brez vodnega žiga. Googlov SynthID-Text je izjema, deluje znotraj Gemini in je izdan kot odprta koda, a označuje samo Geminijev lastni izhod.

To je jedro problema: vodni žig pokriva le modele, katerih izdelovalci sodelujejo, in odprti modeli, ki jih lahko kdorkoli poganja lokalno, ga ne bodo nikoli nosili. Detektor, ki ga vaša šola ali delodajalec uporablja danes, torej še vedno računa statistiko in ne bere vodnih žigov, z vso negotovostjo, ki jo to prinaša.

Kako detektorji obravnavajo mešano človeško in AI besedilo

Resnični dokumenti so redko samo eno. Študent uvod napiše ročno, prosi ChatGPT, naj razširi dva osrednja odstavka, nato pa celoto uredi. Detektorji se s tem spopadejo tako, da čez dokument drsijo z oknom, vsak stavek ali segment ocenijo posebej in označijo odseke, ki so videti generirani.

Mešanje oslabi vsak signal. Človeški popravki znotraj odstavka AI dvignejo njegovo perpleksnost; stavki AI znotraj človeškega razdelka njegov ritem vlečejo proti enakomernosti. Rezultat je srednja ocena, ki bi lahko pomenila "pol AI" ali "v celoti človek, nenavadno napisano", in označevanje po stavkih je opazno manj zanesljivo od skupne številke. Turnitin je na primer povedal, da imajo njegove oznake na ravni stavka višjo stopnjo napak kot ocena dokumenta, in nekaj časa nizkih odstotkov sploh ni prikazoval, ker so bili tako majavi.

Skratka: bolj ko je dokument premešan, bolj meglena je razsodba, in označeni stavki v poročilu si zaslužijo še več skepse kot naslovni odstotek.

Kako humaniziranje zniža oceno

Če detektorji nagrajujejo visoko perpleksnost in razgibanost, je rešitev pisati bolj kot človek: spreminjajte dolžino stavkov, uporabljajte manj predvidljive izbire besed, dodajte naravne prehode in razbijte enakomeren ritem. Ročno početi to čez cel dokument je počasno, zato obstaja humanizator AI, ki besedilo prepiše in samodejno obnovi to človeško variacijo.

Orodje, kot je Humanize AI, preoblikuje izhod modela, da spet pridobi naravno razgibanost in manj predvidljivo ubeseditev, kar mu pomaga obiti zaznavanje AI ob ohranjenem pomenu. Ključno je, da prikaže oceno prej in potem iz resničnih detektorjev, tako da spremembo merite, namesto da upate. Cilj ni zavajanje, ampak pisanje, ki končno zveni kot vi.

Kaj to v praksi pomeni za vas

Nekaj navad izhaja neposredno iz tega, kako tehnologija deluje. Testirajte, preden oddate, saj je ugibanje o oceni nesmiselno, ko je preverjanje brezplačno; svoj osnutek lahko spustite skozi brezplačni humanizator AI in vidite številke detektorjev, preden jih vidi kdorkoli drug. Nikoli ne zaupajte razsodbi o kratkem odlomku in oznake na ravni stavka obravnavajte kvečjemu kot šibek dokaz.

Če pišete pošteno, hranite dokaze: različice osnutkov, zapiski in zgodovina urejanja so veliko boljši dokaz avtorstva kot katerakoli nasprotna ocena, še posebej če ste nematerni govorec, ki piše v formalnem registru, ki mu detektorji ne zaupajo. In če imate opravka z določenim preverjevalnikom, spoznajte njegovo specifično vedenje; zlasti Turnitin ima posebnosti, ki jih je vredno poznati, zato smo kot spremljevalca temu članku napisali vodnik za Turnitin.

Predvsem pa si zapomnite, kaj detektor je. Je iskalec vzorcev, ki ocenjuje predvidljivost, zgradil ga je ponudnik, uglašen je na prag in se v merljivem deležu moti v obe smeri. Uporaben, včasih. Dokaz, nikoli.

Pogosto zastavljena vprašanja