Hogyan működnek valójában az AI-detektorok (és miért jelölnek meg téged)

Mit mér valójában egy AI-detektor

Egy AI-detektor nem tudja, ki írt egy mondatot. Sosem látta korábban a dokumentumodat, és nem tudja összevetni a ChatGPT-kimenetek rejtett adatbázisával. Ehelyett azt pontozza, mennyire kiszámítható a szöveged azokhoz a mintázatokhoz képest, amelyeket a nagy nyelvi modellek hajlamosak létrehozni.

A modern detektorok maguk is gépi tanulási modellek, amelyeket emberi és AI szövegrészek millióin tanítottak be. Azokat a statisztikai ujjlenyomatokat keresik, amelyeket a generálás hátrahagy, majd egy valószínűséget adnak ki. Ebben a folyamatban semmi sem igazolja a szerzőséget. Egy detektor nem látja a böngészési előzményeidet, és nem figyeli, ahogy gépelsz; csak annyit tud mondani, hogy a szöveged hasonlít vagy nem hasonlít arra a gépi írásra, amelyen betanították.

Gondolj rá úgy, mint egy spamszűrőre. Megtanulta, hogyan néz ki általában a kéretlen levél, ezért megjelöli azokat az üzeneteket, amelyekben megvannak ezek a jellemzők, de egyetlen e-mailben sem lehet soha teljesen biztos. Az AI-észlelés ugyanígy működik, ami azt jelenti, hogy minden pontszám egy számnak öltöztetett megérzés. Ez azt is megváltoztatja, hogyan kell értelmezned egy eredményt: a "85% AI" nem azt jelenti, hogy a szöveged 85%-a géppel írt. Azt jelenti, hogy a detektor eléggé biztos egy találgatásban.

Perplexitás: mennyire meglepőek a szavaid

A perplexitás a legfontosabb egyetlen jel. Azt méri, mennyire lepi meg egy nyelvi modellt minden egyes szó, amit választottál. Ha minden következő szó pontosan az, amit a modell megjósolt volna, a perplexitás alacsony, és a szöveg géppel írtnak tűnik. Az emberek kevésbé kiszámíthatók: egy furcsa melléknévhez nyúlunk, megszegünk egy szabályt, vagy kissé esetlenül fogalmazunk meg valamit, és mindegyik ilyen választás felfelé tolja a perplexitást.

Egy konkrét példapár láthatóvá teszi ezt. Első mondat: "A rendszeres testmozgás fontos, mert javítja mind a fizikai, mind a mentális egészséget." Második mondat: "Azért mozgok folyamatosan, mert kevesebbet panaszkodnak a térdeim, és utána kevésbé tűnik ijesztőnek a beérkező leveleim mappája." Mindkettő nyelvtanilag helyes, és mindkettő ugyanazt az alapvető gondolatot fejezi ki, de az elsőt teljes egészében olyan szavakból állították össze, amelyeket egy nyelvi modell a legvalószínűbb következő választásként rangsorolna; "a rendszeres testmozgás fontos, mert" gyakorlatilag egy sablon. A második kis kockázatokat vállal: panaszkodó térdek, ijesztő postaláda. Egy modell, amely szóról szóra pontozza a valószínűséget, az első mondatot nem meglepőnek, a másodikat pedig valóban nehezen kiszámíthatónak találja, így az első AI-ként, a második emberként olvasható.

Ez az oka annak is, hogy a csiszolt, általános írást akkor is megjelölik, amikor egy ember írt minden szót. A perplexitás nem az erőfeszítést vagy az őszinteséget méri, csak a kiszámíthatóságot, és némely tökéletesen emberi írás nagyon kiszámítható.

Burstiness: a valódi írás ritmusa

A burstiness a mondatszerkezet és a mondathossz változatosságát méri. Az emberek lökésekben írnak: egy hosszú, kanyargós mondatot egy rövid követ. Három szó. Aztán egy összetett, részletekkel teli tagmondat, amely valószínűleg hosszabbra nyúlik a kelleténél.

Az AI-kimenet simább. Alapbeállításain hagyva egy modell olyan mondatokat állít elő, amelyek nagyjából ugyanolyan hosszúak, hasonló szerkezetekkel kezdődnek, és ugyanazzal az egyenletes lüktetéssel érnek véget, bekezdésről bekezdésre. Tedd a kettőt egymás mellé, és gyakran egyetlen szó elolvasása előtt észreveszed a különbséget: az emberi szöveg szaggatottnak tűnik a lapon, a gépi szöveg pedig téglafalnak.

A detektorok számszerűsítik ezt a szaggatottságot. Az alacsony burstiness plusz az alacsony perplexitás a klasszikus AI-aláírás, és amikor mindkettő jelen van, a detektor biztossá válik abban, hogy a szöveget generálták, még akkor is, ha a téma és a nyelvtan kifogástalan. Bármelyik jel önmagában gyenge azonban. Egy költő vad burstinessszel ír, egy szerződéses ügyvéd pedig szinte semmivel, és mindkettő ember, ezért a komoly eszközök mindig a kettőt kombinálják.

Tokenvalószínűség a motorháztető alatt

A nyelvi modellek egyszerre egy tokent írnak, és minden token egy valószínűségi pontszámmal érkezik. A detektorok közelítik ezeket a valószínűségeket, és ellenőrzik, hogy a szöveged a modell valószínű választásainak "komfortzónáján" belül van-e. Amikor egy szövegrész szinte teljes egészében nagy valószínűségű tokenekből épül fel, egyenletes ritmusban elrendezve, az megegyezik azzal, ahogyan a ChatGPT, a Gemini és a Claude alapértelmezés szerint generál, és a detektor ezt a mintázatot alakítja át azzá a százalékká, amelyet látsz.

Ez megmagyarázza azt is, miért megbízhatatlan rövid szövegrészeket tesztelni. Csupán egy-két mondattal nincs elég jel ahhoz, hogy egy gondos embert elkülönítsünk egy modelltől, így a pontszámok vadul ingadoznak. A legtöbb szolgáltató csendben egyetért ezzel: több is elutasítja bármi néhány száz szó alatti pontozását, mert ez alatt a hossz alatt a matematika közelebb áll egy pénzfeldobáshoz, mint egy méréshez.

Statisztikai detektorok kontra osztályozóalapú detektorok

Az észlelőeszközök két családba tartoznak, és annak ismerete, melyikkel állsz szemben, sok furcsa eredményt megmagyaráz. A statisztikai detektorok egy referencia nyelvi modellt használnak a valószínűségek közvetlen kiszámításához: átfuttatják a szövegedet a modellen, megmérik a perplexitást, a burstinesst és a kapcsolódó mennyiségeket, majd egy küszöbértéket alkalmaznak. Az olyan kutatási módszerek, mint a GLTR és a DetectGPT, így működnek, és sok ingyenes ellenőrző mögötti pontozás is. Az erősségük, hogy nincs szükségük címkézett tanítóadatra; a gyengeségük, hogy az ítélet nagyban függ attól, melyik referenciamodell végzi a pontozást.

Az osztályozóalapú detektorokat ezzel szemben betanítják. A szolgáltató nagy korpuszokat gyűjt ismert emberi és ismert AI szövegből, majd finomhangol egy modellt, gyakran egy RoBERTa-stílusú transzformert, hogy megkülönböztesse a kettőt. A Turnitin, az Originality.ai és a Copyleaks így épül fel. Az osztályozók a nyers perplexitáson túli finom jeleket is felszednek, ezért hajlamosak pontosabbak lenni a tanítóadataikhoz hasonló szövegen, de romlanak az újabb modellekből, más nyelvekből vagy soha nem látott területekből származó írásokon, és a szolgáltatón kívül senki sem tudja megvizsgálni, mit tanultak meg valójában.

A legtöbb kereskedelmi termék mostanra mindkét megközelítés hibridje, ami az egyik oka annak, hogy a pontszámaikat nehéz értelmezni, és még nehezebb összehasonlítani az eszközök között.

Miért jelölik meg a ChatGPT, a Gemini és a Claude kimenetét

Az élvonalbeli modelleket arra tanítják, hogy világosak, biztonságosak és folyékonyak legyenek, és e tanítás utolsó köre azokat a válaszokat jutalmazza, amelyeket a legtöbb értékelő jól megírtnak minősít. Ez a kimenetet a kiegyensúlyozott mondatok, a rendezett átvezetések, mint a "továbbá" és a "végezetül", valamint a statisztikai középutat tartó szókincs felé tolja.

Ugyanezek a tulajdonságok pontosan azok, amelyekre a detektorok vadásznak. Minél csiszoltabb és "átlagosabb" az írás, annál alacsonyabb a perplexitása és a burstinesse, és annál magasabb az AI-pontszám. Ironikus módon az elgépelésekkel és furcsaságokkal teli nyers emberi piszkozatok gyakran könnyebben átmennek, mint egy tiszta AI első piszkozat, mert a hibák hordozzák az emberi jelet.

Mit ellenőriz valójában a GPTZero, a Turnitin, a ZeroGPT és a többiek

A jelentős eszközök ugyanazon az alaplogikán osztoznak, de eltérően hangolják. A GPTZero tette népszerűvé a perplexitás- és burstiness-pontozást, és mindkettőt mondatszinten jelenti. A Turnitin AI az észlelést az iskoláknak szánt plágiumcsomagjába integrálja, egymást átfedő szegmensekre bontva a dokumentumokat, és megjelölve azokat, amelyekről az osztályozója úgy véli, hogy modell írta.

A ZeroGPT gyors, ingyenes, mondatonkénti kiolvasást kínál, míg az Originality.ai a kiadókat és az SEO-csapatokat célozza egy szigorú, bizonyossággal súlyozott pontszámmal. A Copyleaks a többnyelvű lefedettséget és a vállalati jelentéskészítést hangsúlyozza. Mindegyik valószínűségi alapú, ezért egyik sem állíthatja őszintén, hogy tökéletes, és ezért írja le minden szolgáltató pontossági marketingje csendben azokat a teszteket, amelyeket maga a szolgáltató tervezett.

Miért nem értenek egyet a detektorok egymással

Illeszd be ugyanazt az esszét három detektorba, és 2% AI-t kaphatsz az egyiktől, 45%-ot a másiktól, és 88%-ot a harmadiktól. Ez a szórás nem az egyikük hibája; ez történik, amikor különböző rendszerek különböző találgatásokat tesznek ugyanabból a bizonyítékból.

Mindegyik eszközt a saját korpuszán tanítják be, a saját referenciamodelljével pontoz, eltérően darabolja a szöveget (egész dokumentum kontra mondatról mondatra), és a saját küszöbértékét állítja be arra, mi számít "valószínűleg AI-nak". Egy eszköz, amelyet a hamis vádak elkerülésére kalibráltak, óvatosan fut és aluljelöl; egy eszköz, amelyet a csalók elkapására árulnak, agresszíven fut, és túljelöli ugyanazt a szöveget. Ráadásul eltérő ütemezés szerint frissülnek, így egy új modell megjelenése előtt hangolt detektor hónapokig félreértékeli az adott modell stílusát.

A gyakorlati tanulság az, hogy egyetlen pontszám sem végleges, és az eszközök közötti nézeteltérés közvetlen bizonyíték arra, mennyi találgatás van benne. Ha az iskolád a Turnitinnel ellenőriz, csak a Turnitin ítélete számít, és egy máshol elért tiszta pontszám sem nem jelzi előre, sem nem véd meg tőle.

Téves találatok: a közzétett számok

Mivel a detektorok a kiszámíthatóságot ítélik meg, rendszeresen tévednek, és a hibázások nem hipotetikusak. Az OpenAI saját osztályozója, amelyet 2023 januárjában indítottak, az AI-írt szövegnek csak a 26%-át azonosította, miközben az emberi szöveg 9%-át tévesen AI-nak címkézte, a cég pedig hat hónapon belül visszavonta az alacsony pontossága miatt. A Turnitin 1% alatti dokumentumszintű téves találati arányt állít, de elismerte, hogy az egyes megjelölt mondatok jóval kevésbé megbízhatók, ezért nem ad ki pontszámot azokra a dokumentumokra, amelyekben csak kis mennyiségű feltételezett AI-szöveg van.

A legaggasztóbb megállapítás a nem anyanyelvi angolul beszélőket érinti. A Stanford kutatói hét népszerű detektort teszteltek valódi diákok által a TOEFL-vizsgára írt esszéken, és azt találták, hogy átlagosan ezen emberi írású esszék 61%-át AI által generáltnak jelölték meg, és szinte mindegyiket megjelölte legalább egy detektor. Az anyanyelvi amerikai diákok esszéi szinte érintetlenül átmentek ugyanazokon az eszközökön.

A mechanizmus pontosan az, amit ez a cikk leír: a második nyelven dolgozó írók hajlamosak biztonságosabb szókincset és szabályosabb mondatszerkezeteket használni, ami csökkenti a perplexitást, ami gépi szövegként olvasható. Az elfogultság magába a módszerbe van beépítve. Ezért kezelik a felelős iskolák a detektorpontszámot egy beszélgetés kezdeteként, nem bizonyítékként. Egy szám nem bizonyíték.

Vízjelezés: a megoldás, amely nem került piacra

A kutatók régóta érvelnek amellett, hogy a valódi megoldás a vízjelezés: magával az AI-modellel láthatatlan statisztikai aláírást beágyaztatni a generálás idején. A legismertebb sémában a modell írás közben titkon egy forgó "zöld lista" tokenjeit részesíti előnyben. Egy olvasó nem veheti észre a mintázatot, de egy detektor, amelynél megvan a kulcs, sokkal jobb pontossággal tesztelhet rá, mint a perplexitás-alapú találgatás.

Nagyrészt nem került piacra. Az OpenAI épített egy szöveges vízjelezőt, amelyet belsőleg körülbelül 99,9%-ban hatékonynak jelentettek hosszú szövegrészeken, és rajta ült, olyan aggályokra hivatkozva, hogy az átfogalmazás vagy a fordítás eltávolítja a jelet, hogy megbélyegezhetné azokat a nem anyanyelvi beszélőket, akik jogosan használják az AI-t a csiszoláshoz, és, kevésbé nemesen, hogy a felhasználók egyszerűen olyan eszközökre váltanának, amelyek nem vízjeleznek. A Google SynthID-Text a kivétel, amely a Geminin belül fut, és nyílt forráskódúként adták ki, de csak a Gemini saját kimenetét jelöli.

Ez az alapvető probléma: egy vízjel csak azokat a modelleket fedi le, amelyek készítői együttműködnek, és a nyílt súlyú modellek, amelyeket bárki futtathat helyben, sosem fognak ilyet hordozni. Tehát a detektor, amelyet az iskolád vagy a munkáltatód ma használ, még mindig statisztikát végez, nem vízjeleket olvas, minden bizonytalansággal, amit ez magával von.

Hogyan kezelik a detektorok a vegyes emberi és AI szöveget

A valódi dokumentumok ritkán egyneműek. Egy diák kézzel megír egy bevezetőt, megkéri a ChatGPT-t, hogy bővítsen ki két törzsbekezdést, majd az egészet szerkeszti. A detektorok úgy kezelik ezt, hogy egy ablakot csúsztatnak végig a dokumentumon, minden mondatot vagy szegmenst külön pontoznak, és kiemelik azokat a szakaszokat, amelyek generáltnak tűnnek.

A keverés minden jelet gyengít. Az AI-bekezdésen belüli emberi szerkesztések megemelik annak perplexitását; az emberi szakaszon belüli AI-mondatok az egyformaság felé húzzák a ritmusát. Az eredmény egy középső tartományba eső pontszám, amely jelentheti azt, hogy "félig AI", vagy azt, hogy "teljesen emberi, furcsán megírva", és a mondatonkénti kiemelések szembetűnően kevésbé megbízhatók, mint az összesített szám. A Turnitin például azt mondta, hogy a mondatszintű jelölései magasabb hibaaránnyal járnak, mint a dokumentumpontszáma, és egy ideig egyáltalán nem volt hajlandó alacsony százalékokat megjeleníteni, mert olyan ingatagok voltak.

Röviden: minél kevertebb a dokumentum, annál homályosabb az ítélet, és egy jelentésben kiemelt mondatok még több szkepticizmust érdemelnek, mint a főcímbeli százalék.

Hogyan csökkenti a humanizálás a pontszámot

Ha a detektorok a magas perplexitást és burstinesst jutalmazzák, a megoldás az, hogy jobban úgy írj, mint egy ember: változtasd a mondathosszt, használj kevésbé kiszámítható szóválasztásokat, adj hozzá természetes átvezetéseket, és törd meg az egyforma ritmust. Ezt kézzel megtenni egy teljes dokumentumon lassú, ezért létezik az AI humanizáló, hogy átírja a szöveget, és automatikusan visszaállítsa ezt az emberi változatosságot.

Egy olyan eszköz, mint a Humanize AI, úgy fogalmazza át a modell kimenetét, hogy az visszanyerje a természetes burstinesst és a kevésbé kiszámítható megfogalmazást, segítve az AI-észlelés megkerülését, miközben a jelentésed érintetlen marad. Ami döntő, valódi detektoroktól mutat előtte-utána pontszámot, így a változást méred, nem reménykedsz. A cél nem a megtévesztés, hanem az olyan írás, amely végre úgy hangzik, mint te.

Mit jelent ez számodra a gyakorlatban

Néhány szokás közvetlenül abból következik, hogyan működik a technológia. Tesztelj, mielőtt beadod, mert egy pontszám kitalálása értelmetlen, amikor az ellenőrzés ingyenes; átfuttathatod a piszkozatodat az ingyenes AI humanizálón, és láthatod a detektorszámokat, mielőtt bárki más látná. Soha ne bízz egy rövid szövegrészen hozott ítéletben, és a mondatszintű kiemeléseket legjobb esetben is gyenge bizonyítékként kezeld.

Ha becsületesen írsz, őrizd meg a bizonylataidat: a piszkozatverziók, a jegyzetek és a szerkesztési előzmények sokkal jobb bizonyítékai a szerzőségnek, mint bármely ellenpontszám, különösen ha nem anyanyelvi beszélőként írsz abban a formális regiszterben, amelyben a detektorok nem bíznak. És ha egy konkrét ellenőrzővel állsz szemben, tanuld meg a konkrét viselkedését; a Turnitinnek különösen vannak megismerésre érdemes furcsaságai, ezért írtuk meg a Turnitin-útmutatót ennek társaként.

Mindenekelőtt ne feledd, mi is egy detektor. Egy mintázatillesztő, amely a kiszámíthatóságot pontozza, egy szolgáltató építette, egy küszöbértékre hangolták, és mérhető arányban téved mindkét irányban. Hasznos, néha. Bizonyíték, soha.

Gyakran ismételt kérdések