Hvernig gervigreindargreiningartól virka í raun (og hvers vegna þau merkja þig)

Hvað gervigreindargreiningartól mælir í raun og veru

Gervigreindargreiningartól veit ekki hver skrifaði setningu. Það hefur aldrei séð skjalið þitt áður og getur ekki borið það saman við falinn gagnagrunn af ChatGPT-svörum. Þess í stað skorar það hversu fyrirsjáanlegur textinn þinn er í samanburði við mynstrin sem stór mállíkön hafa tilhneigingu til að framleiða.

Nútímagreiningartól eru sjálf vélnámslíkön, þjálfuð á milljónum mannlegra og gervigreindarkafla. Þau leita að tölfræðilegu fingraförunum sem textagerð skilur eftir sig og skila síðan líkum. Ekkert í þeirri keðju staðfestir höfundarrétt. Greiningartól getur ekki séð vafrasöguna þína eða horft á þig skrifa; það getur aðeins sagt að textinn þinn líkist, eða líkist ekki, vélrænu skrifunum sem það var þjálfað á.

Hugsaðu um það eins og ruslpóstsíu. Hún hefur lært hvernig ruslpóstur lítur venjulega út, svo hún merkir skilaboð sem deila þeim einkennum, en hún getur aldrei verið viss um neinn einn tölvupóst. Gervigreindargreining virkar á sama hátt, sem þýðir að hvert skor er ágiskun klædd upp sem tala. Það breytir líka því hvernig þú átt að lesa niðurstöðu: "85% gervigreind" þýðir ekki að 85% af textanum þínum séu vélskrifuð. Það þýðir að tólið er nokkuð öruggt um ágiskun.

Perplexity: hversu óvænt orðin þín eru

Perplexity er mikilvægasta merkið. Það mælir hversu hissa mállíkan verður á hverju orði sem þú valdir. Ef hvert næsta orð er nákvæmlega það sem líkanið hefði spáð fyrir um er perplexity lágt og textinn lítur út fyrir að vera vélskrifaður. Menn eru minna fyrirsjáanlegir: við grípum í sérkennilegt lýsingarorð, brjótum reglu eða orðum eitthvað örlítið klaufalega, og hvert slíkt val ýtir perplexity upp.

Áþreifanlegt par gerir þetta sýnilegt. Setning eitt: "Regluleg hreyfing er mikilvæg því hún bætir bæði líkamlega og andlega heilsu." Setning tvö: "Ég held áfram að æfa því hnén kvarta minna og pósthólfið virðist minna ógnvekjandi á eftir." Báðar eru málfræðilega réttar og segja í grunninn það sama, en sú fyrri er samsett eingöngu úr orðum sem mállíkan myndi raða sem líklegasta næsta vali; "regluleg hreyfing er mikilvæg því" er nánast sniðmát. Sú seinni tekur litlar áhættur: hné sem kvarta, pósthólf sem ógnar. Líkan sem skorar líkur orð fyrir orð finnst fyrri setningin fyrirsjáanleg og sú seinni raunverulega erfið að spá fyrir um, svo sú fyrri les sem gervigreind og sú seinni sem mannleg.

Þetta er líka ástæðan fyrir því að fáguð, almenn skrif eru merkt jafnvel þegar manneskja skrifaði hvert orð. Perplexity mælir hvorki fyrirhöfn né heiðarleika, aðeins fyrirsjáanleika, og sum fullkomlega mannleg skrif eru mjög fyrirsjáanleg.

Burstiness: hrynjandi raunverulegra skrifa

Burstiness mælir breytileika í setningabyggingu og lengd. Fólk skrifar í hviðum: löng, hlykkjótt setning og svo stutt. Þrjú orð. Síðan flókin aukasetning stútfull af smáatriðum sem teygir sig lengra en hún ætti líklega að gera.

Gervigreindarúttak er sléttara. Á sjálfgefnum stillingum framleiðir líkan setningar sem sveima í kringum sömu lengd, hefjast á svipuðum byggingum og lenda með sömu jöfnu hrynjandi, efnisgrein eftir efnisgrein. Settu þetta tvennt hlið við hlið og þú getur oft komið auga á muninn áður en þú lest eitt orð: mannlegur texti lítur út fyrir að vera hrjúfur á síðunni, vélrænn texti lítur út eins og múrverk.

Greiningartól mæla þessa hrjúfleika í tölum. Lágt burstiness ásamt lágu perplexity er klassíska gervigreindareinkennið, og þegar hvort tveggja er til staðar verður tólið öruggt um að textinn hafi verið vélgerður, jafnvel þótt efnið og málfræðin séu gallalaus. Hvort merkið um sig eitt og sér er þó veikt. Ljóðskáld skrifar með villtu burstiness og samningalögfræðingur með nánast engu, og bæði eru mannleg, sem er ástæðan fyrir því að alvöru tól sameina alltaf merkin tvö.

Táknlíkur undir húddinu

Mállíkön skrifa eitt tákn í einu, og hverju tákni fylgja líkur. Greiningartól nálga þessar líkur og athuga hvort textinn þinn sitji innan "þægindaramma" líkansins af líklegum valkostum. Þegar kafli er byggður nánast eingöngu úr háleikatáknum í jafnri hrynjandi passar hann við hvernig ChatGPT, Gemini og Claude framleiða texta sjálfgefið, og tólið breytir því mynstri í prósentuna sem þú sérð.

Þetta útskýrir líka hvers vegna stuttir bútar eru óáreiðanlegir í prófun. Með aðeins setningu eða tveimur er ekki nóg merki til að aðgreina vandvirka manneskju frá líkani, svo skorin sveiflast villt. Flestir framleiðendur eru þegjandi sammála: nokkrir neita að skora nokkuð undir nokkur hundruð orðum, því undir þeirri lengd er stærðfræðin nær krónukasti en mælingu.

Tölfræðileg greiningartól á móti flokkarabyggðum

Greiningartól falla í tvær fjölskyldur, og að vita hvora þú stendur frammi fyrir útskýrir margar undarlegar niðurstöður. Tölfræðileg greiningartól nota viðmiðunarmállíkan til að reikna líkur beint: þau keyra textann þinn í gegnum líkanið, mæla perplexity, burstiness og skyldar stærðir og beita síðan þröskuldi. Rannsóknaraðferðir eins og GLTR og DetectGPT virka svona, og það gerir skorunin á bak við mörg ókeypis prófunartól líka. Styrkur þeirra er að þau þurfa engin merkt þjálfunargögn; veikleikinn er að dómurinn veltur verulega á því hvaða viðmiðunarlíkan sér um skorunina.

Flokkarabyggð greiningartól eru þjálfuð í staðinn. Framleiðandinn safnar stórum textasöfnum af staðfestum mannlegum og staðfestum gervigreindartexta og fínstillir síðan líkan, oft RoBERTa-gerðar umbreyti, til að greina þar á milli. Turnitin, Originality.ai og Copyleaks eru byggð svona. Flokkarar nema fíngerð einkenni umfram hráa perplexity, svo þeir eru gjarnan nákvæmari á texta sem líkist þjálfunargögnum þeirra, en þeir versna á skrifum frá nýrri líkönum, öðrum tungumálum eða sviðum sem þeir sáu aldrei, og enginn utan framleiðandans getur skoðað hvað þeir lærðu í raun.

Flestar vörur á markaði eru nú blendingar beggja nálgana, sem er ein ástæða þess að skor þeirra eru erfið í túlkun og enn erfiðari í samanburði milli tóla.

Hvers vegna úttak ChatGPT, Gemini og Claude er merkt

Fremstu líkönin eru þjálfuð til að vera skýr, örugg og lipur, og lokaumferð þeirrar þjálfunar verðlaunar svör sem flestir yfirferðarmenn meta sem vel skrifuð. Það ýtir úttakinu í átt að jafnvægum setningum, snyrtilegum tengingum eins og "enn fremur" og "að lokum" og orðaforða sem heldur sig á tölfræðilegri miðju vegarins.

Þessir sömu eiginleikar eru nákvæmlega það sem greiningartól veiða. Því fágaðri og "meðaltalslegri" sem skrifin eru, því lægra er perplexity og burstiness þeirra, og því hærra gervigreindarskorið. Kaldhæðnin er að hrá mannleg uppköst full af innsláttarvillum og sérviskum komast oft auðveldar í gegn en hreint fyrsta uppkast gervigreindar, því gallarnir eru það sem ber mannlega merkið.

Hvað GPTZero, Turnitin, ZeroGPT og fleiri athuga í raun

Helstu tólin deila sömu grunnrökfræði en stilla hana ólíkt. GPTZero gerði perplexity- og burstiness-skorun vinsæla og birtir hvort tveggja á setningastigi. Turnitin AI fléttar greininguna inn í ritstuldarlausn sína fyrir skóla, brýtur skjöl niður í skarandi hluta og merkir þá sem flokkari þess telur vélskrifaða.

ZeroGPT býður hraðan, ókeypis aflestur setningu fyrir setningu, en Originality.ai miðar á útgefendur og SEO-teymi með ströngu, öryggisvegnu skori. Copyleaks leggur áherslu á fjöltyngda þekju og fyrirtækjaskýrslur. Öll eru þau líkindafræðileg, sem er ástæðan fyrir því að ekkert þeirra getur með heiðarlegum hætti sagst vera fullkomið, og fyrir því að nákvæmnismarkaðssetning hvers framleiðanda lýsir í kyrrþey prófunum sem framleiðandinn hannaði sjálfur.

Hvers vegna greiningartól eru ósammála hvert öðru

Límdu sömu ritgerðina inn í þrjú greiningartól og þú getur fengið 2% gervigreind frá einu, 45% frá öðru og 88% frá því þriðja. Sú dreifing er ekki galli í einu þeirra; hún er það sem gerist þegar ólík kerfi giska ólíkt út frá sömu gögnum.

Hvert tól er þjálfað á eigin textasafni, skorar með eigin viðmiðunarlíkani, bútar texta ólíkt niður (heilt skjal á móti setningu fyrir setningu) og setur eigin þröskuld fyrir hvað telst "líklega gervigreind". Tól sem er kvarðað til að forðast rangar ásakanir er íhaldssamt og vanmerkir; tól sem er selt út á að grípa svindlara er árásargjarnt og ofmerkir sama texta. Þau uppfærast líka á ólíkum tímum, svo greiningartól sem var stillt áður en nýtt líkan kom út mun misdæma stíl þess líkans mánuðum saman.

Praktíski lærdómurinn er að ekkert eitt skor er endanlegt, og ósamræmi milli tóla er bein sönnun þess hversu mikil ágiskun er í spilinu. Ef skólinn þinn notar Turnitin er það aðeins dómur Turnitin sem skiptir máli, og hreint skor annars staðar hvorki spáir fyrir um hann né ver þig gegn honum.

Falskar jákvæðar niðurstöður: birtu tölurnar

Vegna þess að greiningartól dæma fyrirsjáanleika skjóta þau reglulega framhjá, og skotin eru ekki fræðileg. Flokkari OpenAI sjálfs, sem kom út í janúar 2023, bar aðeins kennsl á 26% af gervigreindarskrifuðum texta en stimplaði um leið 9% af mannlegum texta sem gervigreind, og fyrirtækið lagði hann niður innan sex mánaða vegna lítillar nákvæmni. Turnitin segist halda fölskum jákvæðum niðurstöðum á skjalastigi undir 1%, en hefur viðurkennt að einstakar merktar setningar séu mun óáreiðanlegri, sem er ástæðan fyrir því að það birtir ekki skor á skjölum með aðeins lítið magn af grunuðum gervigreindartexta.

Mest sláandi niðurstaðan varðar þá sem hafa ensku ekki að móðurmáli. Stanford-rannsakendur prófuðu sjö vinsæl greiningartól á ritgerðum sem raunverulegir nemendur skrifuðu fyrir TOEFL-prófið og komust að því að að meðaltali voru 61% þessara mannskrifuðu ritgerða merktar sem gervigreindarsmíð, og nánast allar voru merktar af að minnsta kosti einu tóli. Ritgerðir bandarískra nemenda með ensku að móðurmáli sigldu nánast ósnertar í gegnum sömu tól.

Gangverkið er nákvæmlega það sem þessi grein lýsir: þeir sem skrifa á öðru tungumáli hafa tilhneigingu til að nota öruggari orðaforða og reglulegri setningabyggingu, sem lækkar perplexity, sem les sem vélartexti. Skekkjan er innbyggð í aðferðina sjálfa. Þess vegna líta ábyrgir skólar á greiningarskor sem upphaf samtals, ekki sem sönnun. Tala er ekki sönnunargagn.

Vatnsmerking: lausnin sem hefur ekki komið út

Rannsakendur hafa lengi haldið því fram að raunverulega lausnin sé vatnsmerking: að gervigreindarlíkanið sjálft feli ósýnilega tölfræðilega undirskrift í textann við gerð hans. Í þekktasta kerfinu tekur líkanið í leyni fram yfir hringlaga "grænan lista" af táknum meðan það skrifar. Lesandi getur ekki tekið eftir mynstrinu, en greiningartól með lykilinn getur prófað fyrir því með mun betri nákvæmni en perplexity-ágiskun.

Hún hefur að mestu ekki komið út. OpenAI smíðaði textavatnsmerki sem sagt er innanhúss að sé um 99,9% skilvirkt á löngum köflum, og hefur setið á því, með vísan í áhyggjur af því að umorðun eða þýðing fjarlægi merkið, að það gæti stimplað þá sem hafa ensku ekki að móðurmáli og nota gervigreind til fágunar með lögmætum hætti, og, af óæðri hvötum, að notendur myndu einfaldlega skipta yfir í tól sem vatnsmerkja ekki. SynthID-Text frá Google er undantekningin, keyrir innan Gemini og var gefið út sem opinn hugbúnaður, en það merkir aðeins úttak Gemini sjálfs.

Það er kjarnavandinn: vatnsmerki nær aðeins yfir líkön þar sem framleiðandinn tekur þátt, og líkön með opnum vigtum sem hver sem er getur keyrt heima munu aldrei bera slíkt. Þannig að greiningartólið sem skólinn þinn eða vinnuveitandi notar í dag er enn að reikna tölfræði, ekki að lesa vatnsmerki, með allri þeirri óvissu sem því fylgir.

Hvernig greiningartól höndla blandaðan mannlegan og gervigreindartexta

Raunveruleg skjöl eru sjaldan alfarið eitt eða annað. Nemandi skrifar inngang í höndunum, biður ChatGPT um að útvíkka tvær meginmálsefnisgreinar og ritstýrir svo heildinni. Greiningartól bregðast við þessu með því að renna glugga yfir skjalið, skora hverja setningu eða hluta fyrir sig og auðkenna kaflana sem líta út fyrir að vera vélgerðir.

Blöndun veikir hvert einasta merki. Mannlegar breytingar inni í gervigreindarefnisgrein hækka perplexity hennar; gervigreindarsetningar inni í mannlegum kafla draga hrynjandi hans í átt að einsleitni. Niðurstaðan er miðlungsskor sem gæti þýtt "hálf gervigreind" eða "öll mannleg, sérkennilega skrifuð", og auðkenningin á setningastigi er merkjanlega óáreiðanlegri en heildartalan. Turnitin hefur til dæmis sagt að setningamerki þess beri hærri villutíðni en skjalaskorið, og um tíma neitaði það alfarið að birta lágar prósentur því þær voru svo ótraustar.

Í stuttu máli: því blandaðra sem skjalið er, því óskýrari er dómurinn, og auðkenndar setningar í skýrslu eiga skilið enn meiri efasemdir en aðaltalan.

Hvernig mennskun lækkar skorið

Ef greiningartól verðlauna hátt perplexity og burstiness er lausnin að skrifa meira eins og manneskja: breyta setningalengd, nota minna fyrirsjáanlegt orðaval, bæta við náttúrulegum tengingum og brjóta upp einsleitu hrynjandina. Að gera þetta handvirkt í heilu skjali er hægvirkt, og þess vegna er gervigreindar-mennskunartól til, sem endurskrifar texta og endurheimtir þennan mannlega breytileika sjálfkrafa.

Tól eins og Humanize AI umorðar úttak líkansins svo það endurheimtir náttúrulegt burstiness og minna fyrirsjáanlegt orðalag, sem hjálpar því að komast framhjá gervigreindargreiningu án þess að merkingin glatist. Það sem skiptir sköpum er að það sýnir fyrir og eftir skor frá raunverulegum greiningartólum, svo þú mælir breytinguna í stað þess að vona. Markmiðið er ekki blekking heldur skrif sem hljóma loksins eins og þú.

Hvað þetta þýðir fyrir þig í reynd

Nokkrar venjur leiða beint af því hvernig tæknin virkar. Prófaðu áður en þú skilar, því að giska á skor er tilgangslaust þegar athugun er ókeypis; þú getur keyrt uppkastið þitt í gegnum ókeypis gervigreindar-mennskunartólið og séð greiningartölurnar á undan öllum öðrum. Treystu aldrei dómi um stuttan kafla, og líttu á auðkenningar á setningastigi sem veik sönnunargögn í besta falli.

Ef þú skrifar heiðarlega, geymdu þá kvittanirnar þínar: uppkastsútgáfur, glósur og breytingasaga eru miklu betri sönnun um höfundarverk en nokkurt mótskor, sérstaklega ef þú ert að skrifa á öðru máli en móðurmáli í formlega málsniðinu sem greiningartól vantreysta. Og ef þú stendur frammi fyrir tilteknu prófunartóli, lærðu þá á sérstaka hegðun þess; Turnitin hefur sérstaklega sérkenni sem vert er að þekkja, og þess vegna skrifuðum við Turnitin-leiðarvísinn sem fylgirit við þennan.

Umfram allt, mundu hvað greiningartól er. Það er mynsturgreinir sem skorar fyrirsjáanleika, smíðaður af framleiðanda, stilltur á þröskuld og rangur á mælanlegri tíðni í báðar áttir. Gagnlegt, stundum. Sönnun, aldrei.

Algengar spurningar