Nola funtzionatzen duten benetan AI detektagailuek (eta zergatik markatzen zaituzten)

Zer neurtzen duen benetan AI detektagailu batek

AI detektagailu batek ez daki nork idatzi zuen esaldi bat. Ez du inoiz zure dokumentua ikusi lehenago, eta ezin du ChatGPT irteeren datu-base ezkutu baten aurka egiaztatu. Horren ordez, zure testua zenbateraino den aurreikusgarria puntuatzen du hizkuntza-eredu handiek ekoizteko joera duten patroiekin alderatuta.

Detektagailu modernoak berak ere ikaskuntza automatikoko ereduak dira, milioika gizaki eta AI pasartetan entrenatuak. Sorkuntzak atzean uzten dituen hatz-marka estatistikoak bilatzen dituzte, eta gero probabilitate bat ematen dute. Kanalizazio horretan ezerk ez du egiletza egiaztatzen. Detektagailu batek ezin du zure nabigatzaileko historia ikusi ez idazten zauden bitartean begiratu; testua entrenatu zeneko makina-idazketaren antza duela, edo ez duela, esan dezake soilik.

Pentsatu spam-iragazki batean bezala. Ikasi du zaborra normalean nolakoa den, beraz ezaugarri horiek partekatzen dituzten mezuak markatzen ditu, baina inoiz ezin da ziur egon posta elektroniko bakar batez. AI detekzioak modu berean funtzionatzen du, eta horrek esan nahi du puntuazio bakoitza zenbaki batez jantzitako susmo bat dela. Horrek emaitza nola irakurri behar zenukeen ere aldatzen du: "% 85 AI" ez du esan nahi zure testuaren % 85 makinak idatzitakoa denik. Esan nahi du detektagailua nahiko ziur dagoela asmakizun batez.

Perplexitatea: zure hitzak zenbateraino diren harrigarriak

Perplexitatea da seinalerik garrantzitsuena. Hizkuntza-eredu bat aukeratu duzun hitz bakoitzarekin zenbateraino harritzen den neurtzen du. Hurrengo hitz bakoitza ereduak aurreikusiko zuena zehatz-mehatz bada, perplexitatea baxua da, eta testuak makinak idatzitakoa dirudi. Gizakiak aurreikusezinagoak gara: adjektibo bitxi batera jotzen dugu, arau bat hausten dugu, edo zerbait modu apur bat traketsean adierazten dugu, eta aukera horietako bakoitzak perplexitatea gora bultzatzen du.

Bikote zehatz batek hau ikusgai egiten du. Lehen esaldia: "Ariketa erregularra garrantzitsua da osasun fisikoa zein mentala hobetzen dituelako." Bigarren esaldia: "Ariketa egiten jarraitzen dut nire belaunek gutxiago kexatzen dutelako eta nire sarrera-ontzia ondoren beldurgarriago sentitzen delako." Biak dira gramatikalki zuzenak eta biek puntu berbera egiten dute, baina lehena hizkuntza-eredu batek hurrengo aukera probableentzat sailkatuko lituzkeen hitzez soilik osatuta dago; "ariketa erregularra garrantzitsua da" ia txantiloi bat da. Bigarrenak arrisku txikiak hartzen ditu: kexatzen diren belaunak, izutzen duen sarrera-ontzi bat. Hitzez hitz probabilitatea puntuatzen duen eredu batek lehen esaldia ez-harrigarritzat jotzen du eta bigarrena benetan aurreikusteko zaila, beraz lehena AI gisa irakurtzen da eta bigarrena gizakiaren gisa.

Horregatik ere markatzen da idazketa landu eta generikoa pertsona batek hitz bakoitza idatzi arren. Perplexitateak ez du esfortzua edo zintzotasuna neurtzen, aurreikusgarritasuna soilik, eta gizakiaren idazketa perfektu batzuk oso aurreikusgarriak dira.

Burstiness: benetako idazketaren erritmoa

Burstiness-ak esaldien egituraren eta luzeraren aldakuntza neurtzen du. Jendeak bafadaka idazten du: esaldi luze eta bihurri bat esaldi labur baten atzetik. Hiru hitz. Gero xehetasunez betetako perpaus konplexu bat, seguru asko baino luzeago doana.

AI irteera leunagoa da. Bere balio lehenetsietan utzita, ereduak luzera beraren inguruan dabiltzan esaldiak ekoizten ditu, egitura antzekoekin hasten direnak eta kadentzia uniforme berarekin lurreratzen direnak, paragrafoz paragrafo. Jarri biak alderez alde eta sarritan aldea antzeman dezakezu hitzik irakurri aurretik: gizakiaren testuak koskatsu itxura du orrian, makina-testuak adreilulan itxura du.

Detektagailuek koskatsutasun hori kuantifikatzen dute. Burstiness baxua gehi perplexitate baxua da AI sinadura klasikoa, eta biak daudenean detektagailu bat ziur bihurtzen da testua sortu zela, gaia eta gramatika akatsik gabekoak izan arren. Seinale bakarra bakarrik ahula da, hala ere. Poeta batek burstiness basatiarekin idazten du eta kontratu-abokatu batek ia batere gabe, eta biak dira gizakiak, eta horregatik tresna serioek beti biak konbinatzen dituzte.

Token-probabilitatea kapotaren azpian

Hizkuntza-ereduek token bat idazten dute aldiko, eta token bakoitza probabilitate-puntuazio batekin dator. Detektagailuek probabilitate horiek gutxi gorabehera kalkulatzen dituzte eta egiaztatzen dute zure testua ereduaren aukera probableen "eremu erosoaren" barruan dagoen. Pasarte bat ia erabat probabilitate handiko tokenez eraikita dagoenean, erritmo uniforme batean antolatuta, ChatGPT, Gemini eta Claudek lehenespenez sortzeko moduarekin bat dator, eta detektagailuak patroi hori ikusten duzun ehunekoan bihurtzen du.

Horrek ere azaltzen du zergatik diren fidagaitzak zati laburrak probatzeko. Esaldi bat edo bi soilik izanik, ez dago nahikoa seinale gizaki arretatsu bat eredu batetik bereizteko, beraz puntuazioek basati aldatzen dute. Saltzaile gehienek isilpean ados daude: batzuek ez dute ehunka hitzetik beherako ezer puntuatuko, luzera horretatik behera matematika neurketa bat baino txanpon-jaurtiketa bat gehiago baita.

Detektagailu estatistikoak vs sailkatzailean oinarritutako detektagailuak

Detekzio-tresnak bi familiatan sailkatzen dira, eta zeini aurre egiten diozun jakiteak emaitza bitxi asko azaltzen ditu. Detektagailu estatistikoek erreferentziazko hizkuntza-eredu bat erabiltzen dute probabilitateak zuzenean kalkulatzeko: zure testua ereduan zehar exekutatzen dute, perplexitatea, burstiness eta erlazionatutako magnitudeak neurtzen dituzte, eta gero atalase bat aplikatzen dute. GLTR eta DetectGPT bezalako ikerketa-metodoek modu horretan funtzionatzen dute, eta baita egiaztatzaile doako askoren atzean dagoen puntuazioak ere. Haien indarra da ez dutela etiketatutako entrenamendu-daturik behar; haien ahulezia da epaia asko dagoela erreferentziazko zein eredu puntuatzen duenaren mende.

Sailkatzailean oinarritutako detektagailuak entrenatzen dira, ordea. Saltzaileak gizakiaren eta AIren testu ezagunen korpus handiak biltzen ditu, eta gero eredu bat findoitzen du, sarritan RoBERTa estiloko transformer bat, biak bereizteko. Turnitin, Originality.ai eta Copyleaks modu horretan eraikita daude. Sailkatzaileek perplexitate gordinetik haratago dauden arrasto sotilak jasotzen dituzte, beraz zehatzagoak izan ohi dira beren entrenamendu-datuen antza duen testuan, baina eredu berriagoetako, beste hizkuntzetako edo inoiz ikusi ez zituzten arloetako idazketan hondatzen dira, eta saltzailetik kanpo inork ezin du ikusi benetan zer ikasi zuten.

Produktu komertzial gehienak orain bi ikuspegien hibridoak dira, eta hori da haien puntuazioak interpretatzen zailak eta tresnen artean alderatzen are zailagoak izatearen arrazoietako bat.

Zergatik markatzen den ChatGPT, Gemini eta Clauderen irteera

Muturreko ereduak argi, seguru eta jario egoteko entrenatuta daude, eta entrenamendu horren azken txanda ebaluatzaile gehienek ondo idatzitakotzat jotzen dituzten erantzunak saritzen ditu. Horrek irteera esaldi orekatuetara, trantsizio txukunetara, hala nola "gainera" eta "amaitzeko", eta erdiko bidean geratzen den hiztegira bultzatzen du.

Ezaugarri berberak dira hain zuzen detektagailuek ehizatzen dutena. Zenbat eta landuagoa eta "batez besteko" idazketa, orduan eta baxuagoa bere perplexitatea eta burstiness-a, eta orduan eta altuagoa AI puntuazioa. Ironikoki, tipografia-akatsez eta bitxikeriaz betetako gizakiaren zirriborro gordinak sarritan errazago igarotzen dira AIren lehen zirriborro garbi bat baino, akatsak baitira giza seinalea daramatenak.

Zer egiaztatzen duten benetan GPTZero, Turnitin, ZeroGPT eta besteek

Tresna nagusiek oinarrizko logika bera partekatzen dute baina modu desberdinean doitzen dute. GPTZero-k perplexitate eta burstiness puntuazioa ospetsu egin zuen eta biak esaldi-mailan ematen ditu. Turnitin AI-k detekzioa bere plagio-suitean integratzen du ikastetxeentzat, dokumentuak segmentu gainjarritan zatituz eta bere sailkatzaileak eredu-idatzitzat jotzen dituenak markatuz.

ZeroGPT-k esaldi bakoitzeko irakurketa azkar eta doako bat eskaintzen du, eta Originality.ai-k argitaratzaileak eta SEO taldeak ditu helburu, konfiantzaz haztatutako puntuazio zorrotz batekin. Copyleaks-ek hizkuntza anitzeko estaldura eta enpresa-txostenak azpimarratzen ditu. Denak dira probabilistikoak, eta horregatik batek ere ezin du zintzoki perfektua dela aldarrikatu, eta horregatik saltzaile bakoitzaren zehaztasun-marketinak isilpean saltzaileak berak diseinatutako probak deskribatzen ditu.

Zergatik ez datozen bat detektagailuak beren artean

Itsatsi saiakera bera hiru detektagailutan eta batetik % 2 AI, beste batetik % 45 eta hirugarren batetik % 88 lor ditzakezu. Sakabanaketa hori ez da haietako baten akats bat; sistema desberdinek froga beretik asmakizun desberdinak egiten dituztenean gertatzen dena da.

Tresna bakoitza bere korpusean entrenatuta dago, bere erreferentziazko ereduarekin puntuatzen du, testua modu desberdinean zatitzen du (dokumentu osoa vs esaldiz esaldi), eta "AI izateko probablea" zer den bere atalasea ezartzen du. Salaketa faltsuak saihesteko kalibratutako tresna bat kontserbadore ibiliko da eta gutxiegi markatuko du; iruzurgileak harrapatzeagatik saldutako tresna bat oldarkor ibiliko da eta testu bera gehiegi markatuko du. Egutegi desberdinetan ere eguneratzen dira, beraz eredu berri bat abiarazi aurretik doitutako detektagailu batek eredu horren estiloa hilabetez gaizki epaituko du.

Ikasgai praktikoa da puntuazio bakar bat ere ez dela behin betikoa, eta tresnen arteko desadostasuna zenbat asmakizun dagoen tartean froga zuzena dela. Zure ikastetxeak Turnitinekin egiaztatzen badu, Turnitinen epaia soilik axola da, eta beste nonbait puntuazio garbi batek ez du hori aurreikusten ez babesten.

Positibo faltsuak: argitaratutako zenbakiak

Detektagailuek aurreikusgarritasuna epaitzen dutenez, aldizka huts egiten dute, eta hutsegiteak ez dira hipotetikoak. OpenAIren sailkatzaile propioak, 2023ko urtarrilean abiarazitakoak, AIk idatzitako testuaren % 26 soilik identifikatu zuen, gizakiaren testuaren % 9 AItzat gaizki etiketatzen zuen bitartean, eta enpresak sei hilabeteren buruan erretiratu zuen zehaztasun baxuagatik. Turnitinek dokumentu-mailako positibo faltsuen tasa % 1etik behera aldarrikatzen du, baina onartu du markatutako esaldi indibidualak askoz fidagaitzagoak direla, eta horregatik puntuazioak atxikitzen ditu susmagarritzat jotzen den AI testu kopuru txikia soilik duten dokumentuetan.

Aurkikuntzarik kezkagarrienak ingeleseko hiztun ez-natiboak ditu tartean. Stanfordeko ikertzaileek zazpi detektagailu ezagun probatu zituzten TOEFL azterketarako benetako ikasleek idatzitako saiakeretan eta aurkitu zuten, batez beste, gizakiek idatzitako saiakera hauen % 61 AIk sortutakotzat markatu zirela, eta ia denak markatu zituela gutxienez detektagailu batek. AEBetako ikasle hiztun natiboek idatzitako saiakerak tresna beretatik ia ukitu gabe igaro ziren.

Mekanismoa artikulu honek deskribatzen duena da zehazki: bigarren hizkuntza batean lan egiten duten idazleek hiztegi seguruagoa eta esaldi-egitura erregularragoak erabiltzeko joera dute, eta horrek perplexitatea jaisten du, eta horrek makina-testu gisa irakurtzen da. Alborapena metodoan bertan sartuta dago. Horregatik ikastetxe arduratsuek detektagailu-puntuazio bat elkarrizketa baten hasieratzat hartzen dute, ez froga gisa. Zenbaki bat ez da froga.

Ur-marka: bidali ez den konponbidea

Ikertzaileek aspalditik argudiatu dute benetako soluzioa ur-marka dela: AI ereduak berak sorkuntza-unean sinadura estatistiko ikusezin bat txertatzea. Eskema ezagunenean, ereduak isilpean tokenen "zerrenda berde" biratzaile bat lehenesten du idazten duen bitartean. Irakurle batek ezin du patroia antzeman, baina gakoa duen detektagailu batek probatu dezake perplexitate-asmakizuna baino zehaztasun askoz hobearekin.

Gehienbat ez da bidali. OpenAIk testu-ur-marka bat eraiki zuen, barnean pasarte luzeetan % 99,9 eraginkorra zela jakinarazitakoa, eta gainean eseri da, parafraseatzeak edo itzulpenak marka kentzen duela kezkatuta, ingelesa lantzeko AI legez erabiltzen duten hiztun ez-natiboak estigmatiza litzakeela, eta, gutxiago noble, erabiltzaileek besterik gabe ur-markarik jartzen ez duten tresnetara aldatuko liratekeela. Googleren SynthID-Text da salbuespena, Geminiren barruan exekutatzen dena eta iturri irekiko gisa argitaratutakoa, baina Geminiren irteera propioa soilik markatzen du.

Hori da funtsezko arazoa: ur-marka batek beren egileek lankidetzan diharduten ereduak soilik estaltzen ditu, eta edonork lokalki exekuta ditzakeen pisu irekiko ereduek ez dute inoiz bat eramango. Beraz zure ikastetxeak edo enpresak gaur erabiltzen duen detektagailua oraindik estatistika egiten ari da, ez ur-markak irakurtzen, horrek dakarren ziurgabetasun guztiarekin.

Nola kudeatzen duten detektagailuek gizakiaren eta AIren testu nahasia

Benetako dokumentuak nekez dira gauza bakarra. Ikasle batek sarrera bat eskuz idazten du, ChatGPTri bi gorputz-paragrafo zabaltzeko eskatzen dio, eta gero dena editatzen du. Detektagailuek hau lehio bat dokumentuan zehar irristatuz kudeatzen dute, esaldi edo segmentu bakoitza bereizita puntuatuz, eta sortutakoa dirudien tarteak nabarmenduz.

Nahasteak seinale guztiak ahultzen ditu. AI paragrafo baten barruko giza edizioek bere perplexitatea igotzen dute; giza atal baten barruko AI esaldiek bere erritmoa uniformitaterantz arrastatzen dute. Emaitza "erdia AI" edo "dena gizakia, modu bitxian idatzia" esan lezakeen erdiko puntuazio bat da, eta esaldi bakoitzeko nabarmentzeak zenbaki orokorra baino nabarmen fidagaitzagoak dira. Turnitinek, adibidez, esan du bere esaldi-mailako markek dokumentu-puntuazioak baino errore-tasa altuagoa dutela, eta denbora batez ehuneko baxuak batere erakusteari uko egin zion hain ziurgabeak zirelako.

Laburbilduz: zenbat eta dokumentua nahastuagoa, orduan eta epai lausoagoa, eta txosten bateko esaldi nabarmenduek titular-ehunekoak baino eszeptizismo gehiago merezi dute.

Nola jaisten duen humanizatzeak puntuazioa

Detektagailuek perplexitate eta burstiness altua saritzen badute, konponbidea pertsona bat bezala gehiago idaztea da: aldatu esaldien luzera, erabili hitz-aukera aurreikusezinagoak, gehitu trantsizio naturalak, eta hautsi erritmo uniformea. Hori eskuz dokumentu oso batean egitea motela da, eta horregatik existitzen da AI humanizatzaile bat testua berridatzi eta giza aldakuntza hori automatikoki berreskuratzeko.

Humanize AI bezalako tresna batek ereduaren irteera birformulatzen du burstiness naturala eta esaldi-molde aurreikusezinagoa berreskura ditzan, AI detekzioa saihesten laguntzen diola zure esanahia oso-osorik mantenduz. Funtsezkoena, benetako detektagailuen aurreko eta ondorengo puntuazio bat erakusten du, beraz aldaketa neurtzen ari zara espero izan beharrean. Helburua ez da engainua, azkenean zuk bezala entzuten den idazketa baizik.

Zer esan nahi duen honek zuretzat praktikan

Ohitura batzuk zuzenean datoz teknologiak nola funtzionatzen duenetik. Egiaztatu bidali aurretik, puntuazio bat asmatzea alferrikakoa baita egiaztatzea doakoa denean; zure zirriborroa AI humanizatzaile doakotik pasa dezakezu eta detektagailuen zenbakiak ikusi beste inork baino lehen. Ez fidatu inoiz pasarte labur bateko epai batez, eta hartu esaldi-mailako nabarmentzeak froga ahultzat onenean.

Zintzoki idazten baduzu, gorde zure frogagiriak: zirriborro-bertsioak, oharrak eta edizio-historia egiletzaren froga askoz hobeak dira edozein kontra-puntuazio baino, batez ere detektagailuek mesfidatzen duten erregistro formalean idazten duen hiztun ez-natiboa bazara. Eta egiaztatzaile zehatz bati aurre egiten badiozu, ikasi bere jokabide zehatza; Turnitinek bereziki jakitea merezi duten bitxikeriak ditu, eta horregatik idatzi genuen Turnitin gida honen osagarri gisa.

Guztiaren gainetik, gogoratu zer den detektagailu bat. Aurreikusgarritasuna puntuatzen duen patroi-parekatzaile bat da, saltzaile batek eraikia, atalase batera doitua, eta bi noranzkoetan neurgarria den tasa batean okerra. Baliagarria, batzuetan. Froga, inoiz ez.

Ohiko galderak