Greinir Turnitin ChatGPT? Hreinskilna svarið

Beina svarið: já, með mikilvægum fyrirvörum

Turnitin hefur haft gervigreindarvísi í samsvörunarskýrslum sínum síðan í apríl 2023, og hann var smíðaður sérstaklega til að koma auga á texta frá stórum mállíkönum eins og ChatGPT. Ef þú límir ChatGPT-svar beint inn í ritgerð og skilar henni eru mjög miklar líkur á að Turnitin merki stærstan hluta hennar. Sá hluti liggur fyrir.

Fyrirvararnir skipta jafn miklu máli. Vísirinn er tölfræðilegt mat, ekki sönnun. Hann keyrir aðeins á skilum sem uppfylla lágmarkskröfur, sem stendur að minnsta kosti 300 orð af samfelldum texta. Hann er óáreiðanlegri á skjölum þar sem mannlegur texti og gervigreindartexti blandast, hann glímir við skjalfest vandamál með falskar jákvæðar niðurstöður á setningastigi, og Turnitin segir kennurum sjálft að skorið eigi aldrei að vera eini grundvöllur ákvörðunar um akademískt misferli. Svo getur Turnitin greint gervigreind? Já. Getur það sannað að þú hafir notað hana? Nei, og í því bili ráðast öll raunveruleg mál.

Hvernig gervigreindarvísir Turnitin virkar

Turnitin ber ritgerðina þína ekki saman við gagnagrunn af ChatGPT-svörum. Þess í stað brýtur það skjalið þitt niður í skarandi búta upp á nokkur hundruð orð og skorar síðan hverja setningu eftir því hversu tölfræðilega fyrirsjáanleg hún er. Mállíkön skrifa með því að velja aftur og aftur líklegasta næsta orðið, sem framleiðir óvenju sléttan, jafnan texta með fáu óvæntu. Mannleg skrif eru sóðalegri: setningalengdir sveiflast, orðaval er stundum sérkennilegt og hrynjandin rís og hnígur.

Merkin tvö sem drífa mest af þessu eru perplexity, það er hversu fyrirsjáanlegt orðaval þitt er, og burstiness, það er hversu mikið setningabyggingin þín er breytileg. Ef kafli er stöðugt sléttur og stöðugt jafn merkir líkanið setningar hans sem líklega gervigreind. Við förum dýpra í tæknina í leiðarvísinum okkar um hvernig gervigreindargreiningartól virka, en lykilatriðið er einfalt: Turnitin greinir tölfræðilegt fingrafar vélrænna skrifa, ekki innihald neins tiltekins spjallmennis.

Hvað prósentuskorið þýðir í raun

Talan sem kennarar sjá er hlutfall þeirra setninga í skjalinu þínu, af þeim sem uppfylla skilyrði, sem líkanið telur að hafi verið skrifaðar af gervigreind. 40% skor þýðir ekki að Turnitin sé 40% visst um að þú hafir svindlað. Það þýðir að um það bil 40% setninganna í samfellda textanum þínum litu út fyrir að vera vélskrifaðar í augum líkansins. Þetta eru mjög ólíkar fullyrðingar, og að rugla þeim saman eru algengustu mistökin á fundum um meint misferli.

Tvö atriði er vert að vita. Í fyrsta lagi birtir Turnitin skor á bilinu 1% til 19% með stjörnu vegna þess að eigin rannsóknir fyrirtækisins sýndu að lág skor eru líklegri til að innihalda falskar jákvæðar niðurstöður, og sumar stofnanir stilla skýrslur þannig að þetta bil birtist alls ekki. Í öðru lagi hunsar vísirinn texta sem uppfyllir ekki skilyrði, svo sem punktalista, kóða, töflur og mjög stuttar setningar, þannig að prósentan lýsir aðeins hluta skjalsins þíns.

Hversu nákvæm er gervigreindargreining Turnitin?

Yfirlýst fullyrðing Turnitin er að vísirinn beri kennsl á gervigreindarskrif með um 98% nákvæmni og haldi um leið hlutfalli falskra jákvæðra niðurstaðna á skjalastigi undir 1% fyrir ritgerðir þar sem meira en 20% textans eru gervigreindarsmíð. Þær tölur koma úr eigin prófunum Turnitin á rannsóknarstofu og lýsa tilteknu tilviki: að mestu óbreyttum gervigreindartexta í enskum samfelldum texta.

Óháð skoðun hefur verið óvægnari. Stuttu eftir útgáfu viðurkenndi Turnitin að falskar jákvæðar niðurstöður á setningastigi væru hærri en búist var við, nær 4% í skjölum með blöndu af mannlegum og gervigreindarskrifum. Blaðamenn sem prófuðu tólið árið 2023 komust að því að það hrasaði á blönduðum ritgerðum, missti af gervigreindarköflum og merkti mannlega. Og í ágúst 2023 gerði Vanderbilt-háskóli eiginleikann opinberlega óvirkan með þeim rökum að áhættan á fölskum jákvæðum niðurstöðum væri of mikil til að byggja á. Sanngjörn samantekt á nákvæmni gervigreindargreiningar Turnitin: sterk á hreinu, óbreyttu ChatGPT-svari, merkjanlega veikari á öllu þar á milli.

Hvað kennarinn þinn sér í raun og veru

Nemendur geta yfirleitt alls ekki séð gervigreindarskorið. Vísirinn birtist í sýn kennarans á samsvörunarskýrslunni sem lítið prósentumerki, aðskilið frá ritstuldarskorinu. Með því að smella á það opnast skýrsla þar sem merktar setningar eru auðkenndar, með einum lit fyrir texta sem er metinn gervigreindarsmíð og öðrum fyrir texta sem er metinn gervigreindarsmíð sem síðan var umorðaður með tóli.

Hvað kennarar gera við þennan skjá er afar misjafnt. Eigin leiðbeiningar Turnitin segja þeim að líta á skorið sem merki um að hefja samtal, ekki dóm, og margir háskólar hafa fest þá varúð í stefnu sína. Í reynd er 15% skor á annars sterkri ritgerð oft hunsað, en 80% skor kallar á nánari skoðun á uppkastasögu þinni, heimildum þínum og því hvernig ritgerðin ber sig saman við fyrri skrif þín. Talan opnar málið; manneskja lokar því.

Greinir Turnitin umorðaðan eða mennskaðan texta?

Stundum, og þarna býr vígbúnaðarkapphlaupið. Árið 2024 bætti Turnitin við greiningu á gervigreindarumorðun, lagi sem er þjálfað til að koma auga á texta sem mállíkan bjó til og var síðan keyrður í gegnum umorðunartól. Ódýr umorðun, það er samheitaskipti sem halda upprunalegu setningabyggingunni óbreyttri, er nákvæmlega það sem þetta lag grípur, því tölfræðileg beinagrind vélartextans lifir orðabreytingarnar af.

Dýpri endurskrif eru önnur saga. Þegar setningabygging, hrynjandi og orðalag eru raunverulega endurbyggð dofnar fingrafarið sem greiningartólið reiðir sig á. Það er munurinn á samheitayfirferð og raunverulegri mennskun, og þess vegna sýnir alvöru ókeypis gervigreindar-mennskunartól þér greiningarskor fyrir og eftir í stað þess að biðja þig um að taka niðurstöðum í blindni. Að prófa endurskrifaða textann þinn gegn raunverulegum greiningartólum er eina heiðarlega leiðin til að vita hvort umbreytingin virkaði.

Grípur það gervigreindartexta sem þú breyttir sjálfur?

Lítillega breyttur gervigreindartexti er yfirleitt samt merktur. Að breyta örfáum orðum, eyða inngangi eða víxla tveimur efnisgreinum breytir ekki tölfræðinni á setningastigi sem tólið mælir, svo mestur hluti skjalsins les enn sem vélræn skrif. Nemendur eru reglulega hissa á þessu: fimmtán mínútur af snurfusi líður eins og alvöru vinna, en hreyfir varla við skorinu.

Rækilega endurskrifaður texti er miklu erfiðari viðureignar, og Turnitin segir það sjálft. Í skjölum fyrirtækisins kemur fram að áreiðanleiki minnkar á skjölum með blandað höfundarverk, sem er einmitt ástæðan fyrir stjörnunni á lágum skorum. Ef þú notaðir ChatGPT fyrir beinagrind eða gróft uppkast og endurskrifaðir síðan hverja setningu með eigin rödd, með eigin dæmum og eigin tengingum, þá er lokatextinn að mestu þinn samkvæmt hverjum tölfræðilegum mælikvarða sem er. Tólið er gott í að finna vélrænan texta. Það hefur enga leið til að sjá hugmyndirnar undir honum.

GPT-4, Claude, Gemini: skiptir líkanið máli?

Minna en þú myndir vona. Turnitin þjálfaði greiningartól sitt á úttaki frá stórum mállíkönum sem flokki, ekki á einni vöru, og öll helstu spjallíkön deila sama undirliggjandi vana: að spá fyrir um líklegasta næsta orðið. Sjálfgefið úttak frá GPT-4o, Claude og Gemini ber allt sama slétta, jafna fingrafarið, og prófanir sýna stöðugt að Turnitin merkir öll þrjú í háum hlutföllum þegar textinn er óbreyttur.

Tvö blæbrigði eru raunveruleg. Nýrri líkön eru örlítið minna fyrirsjáanleg en GPT-3.5-textinn sem tólið var upphaflega stillt á, svo greiningarhlutfall á fremstu líkönum getur dalað lítillega þar til Turnitin endurþjálfar, sem það gerir reglulega. Og fyrirmælabrellur eins og "skrifaðu eins og manneskja" eða "bættu við burstiness" breyta yfirborðsstílnum miklu minna en fólk heldur, því líkanið velur enn háleikaorð undir búningnum. Að skipta um spjallmenni er ekki greiningarvörn.

Hvernig nemendur eru í raun gripnir

Hátt gervigreindarskor eitt og sér fellir sjaldan nokkurn. Raunveruleg mál eru byggð á keðju sönnunargagna, og vísirinn er aðeins fyrsti hlekkurinn. Mynstrið sem kennarar lýsa er samkvæmt sjálfu sér: há prósenta, auk skjals án útgáfusögu, auk skrifa sem eru áberandi fágaðri eða almennari en fyrri verk nemandans, auk innihaldsvandamála eins og óljósra röksemda eða tilvísana sem eru ekki til.

Það síðastnefnda á skilið áherslu. Uppspunnar heimildir eru langafdrifaríkasta sönnunargagnið í misferlismálum tengdum gervigreind, því þær verða ekki útskýrðar með ritstíl. Um greiningarskor má deila; um tilvitnaða grein sem var aldrei gefin út er ekki hægt að deila. Ef þú notar gervigreindartól yfirhöfuð, í hvaða leyfilegu hlutverki sem er, staðfestu þá hverja einustu heimild handvirkt, geymdu uppköstin þín og skrifaðu með rödd sem er í samræmi við önnur verk þín. Nemendurnir sem eru gripnir eru nánast aldrei gripnir á prósentunni einni saman.

Hvað á að gera ef þú ert ranglega sakaður

Falskar jákvæðar niðurstöður gerast, og Turnitin viðurkennir það. Rannsóknir hafa einnig sýnt að gervigreindargreiningartól sem flokkur merkja skrif þeirra sem hafa ensku ekki að móðurmáli í hærri hlutföllum, líklega vegna þess að vönduð, lærð enska hefur tilhneigingu til að vera einsleitari og fyrirsjáanlegri, nákvæmlega eiginleikarnir sem greiningartól lesa sem vélræna. Ef þú skrifaðir ritgerðina þína heiðarlega og varst merktur, þá hefurðu verjanlega stöðu, svo ekki örvænta og ekki játa neitt sem þú gerðir ekki.

Byggðu upp sönnunargagnamöppuna þína fyrir fundinn. Útgáfusaga úr Google Docs eða Word er sterkasta gagnið sem þú átt, því hún sýnir ritgerðina vaxa setningu fyrir setningu yfir margar klukkustundir. Bættu við glósunum þínum, beinagrindum, leitarsögu úr vafranum og eldri metnum skrifum sem sýna stílinn þinn. Biddu um að fá að sjá skýrsluna sjálfa og bentu á birta fyrirvara Turnitin sjálfs: stjörnuna á lágum skorum, hlutfall falskra jákvæðra niðurstaðna á setningastigi og skýra yfirlýsingu fyrirtækisins um að vísirinn eigi ekki að vera notaður sem eina sönnunargagnið. Flestar stofnanir hafa áfrýjunarferli. Notaðu það af yfirvegun og skriflega.

Athugaðu verkefnið þitt áður en þú skilar

Hér er praktíska gremjuefnið: nemendur geta ekki séð gervigreindarskor Turnitin fyrir skil, svo fyrsta skiptið sem þú fréttir af vandamáli er oft á versta mögulega augnabliki. Lausnin er að prófa uppkastið þitt fyrst gegn óháðum greiningartólum. Þau eru ekki eins og Turnitin, en þau mæla sömu tölfræðilegu merkin, og uppkast sem kemur hreint út úr mörgum greiningartólum er mjög ólíklegt til að kveikja á vísinum.

Þetta er nákvæmlega það sem Humanize AI er smíðað fyrir. Límdu textann þinn inn, eða hlaðið upp PDF- eða DOCX-skrá, og þú færð lifandi gervigreindarlíkur frá tveimur óháðum greiningartólum áður en þú breytir nokkru, síðan ferskt skor eftir mennskun, á hverju sem er af 40 tungumálum, án skráningar og án orðatakmarka. Ef skorið þitt er hærra en þú bjóst við fer leiðarvísirinn okkar um hvernig á að komast framhjá gervigreindargreiningu Turnitin í gegnum það hvernig má lækka það heiðarlega, þar sem þín eigin rödd vinnur mesta verkið.

Algengar spurningar