Je, Turnitin Hugundua ChatGPT? Jibu la Uaminifu

Jibu la moja kwa moja: ndiyo, likiwa na maonyo muhimu

Turnitin imejumuisha kiashiria cha uandishi wa AI katika ripoti zake za ufanano tangu Aprili 2023, nacho kilijengwa mahususi kubaini maandishi kutoka kwa modeli kubwa za lugha kama ChatGPT. Ukibandika jibu la ChatGPT moja kwa moja kwenye insha na kuliwasilisha, kuna uwezekano mkubwa sana Turnitin itatia alama sehemu kubwa yake. Sehemu hiyo imekwisha kubalika.

Maonyo yana umuhimu sawa. Kiashiria ni makadirio ya kitakwimu, si uthibitisho. Hukimbia tu kwenye mawasilisho yanayotimiza mahitaji ya chini, kwa sasa angalau maneno 300 ya nathari. Hakina uhakika zaidi kwenye hati zenye mchanganyiko wa binadamu-na-AI, kina tatizo la matokeo chanya ya uongo lililorekodiwa katika kiwango cha sentensi, na Turnitin yenyewe huwaambia wakufunzi kwamba alama hii kamwe isiwe msingi pekee wa uamuzi wa utovu wa nidhamu wa kitaaluma. Kwa hivyo je, Turnitin inaweza kugundua AI? Ndiyo. Je, inaweza kuthibitisha ulitumia? Hapana, na pengo hilo ndipo kila kesi halisi huamuliwa.

Jinsi kiashiria cha uandishi wa AI cha Turnitin kinavyofanya kazi

Turnitin hailinganishi insha yako na hifadhidata ya matokeo ya ChatGPT. Badala yake, huvunja hati yako kuwa vipande vinavyopishana vya mamia machache ya maneno, kisha hutia kila sentensi alama kulingana na kadiri inavyotabirika kitakwimu. Modeli za lugha huandika kwa kuchagua mara kwa mara neno linalofuata lenye uwezekano mkubwa zaidi, jambo linalozalisha maandishi laini isivyo kawaida, sawa, yenye mshangao mdogo. Uandishi wa binadamu una fujo zaidi: urefu wa sentensi hutofautiana, machaguo ya maneno mara kwa mara ni ya ajabu, na mdundo hupanda na kushuka.

Ishara mbili zinazoendesha sehemu kubwa ya hili ni perplexity, ikimaanisha kadiri machaguo yako ya maneno yanavyotabirika, na burstiness, ikimaanisha kadiri muundo wa sentensi yako unavyotofautiana. Ikiwa kifungu ni laini kwa uthabiti na sawa kwa uthabiti, modeli hutia sentensi zake alama kama zenye uwezekano wa kuwa za AI. Tunaeleza utaratibu kwa kina zaidi katika mwongozo wetu wa jinsi vigunduzi vya AI vinavyofanya kazi, lakini jambo kuu ni rahisi: Turnitin hugundua alama ya kidole ya kitakwimu ya uandishi wa mashine, si maudhui ya chatbot yoyote mahususi.

Alama ya asilimia inamaanisha nini hasa

Nambari ambayo wakufunzi huona ni asilimia ya sentensi zinazokidhi vigezo katika hati yako ambazo modeli inaamini zilitengenezwa na AI. Alama ya 40% haimaanishi Turnitin ina uhakika wa 40% kwamba ulidanganya. Inamaanisha takribani 40% ya sentensi zako za nathari zilionekana kuandikwa na mashine kwa modeli. Hayo ni madai tofauti sana, na kuyachanganya ni kosa la kawaida zaidi katika mikutano ya utovu wa nidhamu.

Maelezo mawili yanafaa kujulikana. Kwanza, Turnitin huonyesha alama kati ya 1% na 19% zikiwa na nyota kwa sababu utafiti wake mwenyewe uligundua kwamba alama za chini zina uwezekano mkubwa zaidi wa kuwa na matokeo chanya ya uongo, na baadhi ya taasisi husanidi ripoti kuzuia kabisa kipimo hicho. Pili, kiashiria hupuuza maandishi yasiyokidhi vigezo, kama orodha za vitone, msimbo, majedwali, na sentensi fupi sana, hivyo asilimia hueleza sehemu tu ya hati yako.

Ugunduzi wa AI wa Turnitin una usahihi kiasi gani?

Dai la Turnitin lililochapishwa ni kwamba kiashiria hutambua uandishi wa AI kwa usahihi wa takriban 98% huku kikiweka kiwango cha matokeo chanya ya uongo katika ngazi ya hati chini ya 1% kwa karatasi ambazo zaidi ya 20% ya maandishi yametengenezwa na AI. Nambari hizo hutoka kwa majaribio ya maabara ya Turnitin yenyewe, nazo hueleza hali mahususi: maandishi ya AI yasiyohaririwa kwa kiasi kikubwa katika nathari ya Kiingereza.

Uchunguzi huru umekuwa wa kupendeza kidogo. Muda mfupi baada ya kuzinduliwa, Turnitin ilikiri kwamba matokeo chanya ya uongo katika kiwango cha sentensi yalikuwa juu zaidi ya ilivyotarajiwa, karibu na 4% katika hati zenye mchanganyiko wa uandishi wa binadamu na AI. Waandishi wa habari waliojaribu chombo mwaka 2023 walibaini kilijikwaa kwenye insha mseto, kikikosa vifungu vya AI na kutia alama vile vya binadamu. Na Agosti 2023, Chuo Kikuu cha Vanderbilt kilizima hadharani kipengele hicho, kikihoji hatari ya matokeo chanya ya uongo ilikuwa juu mno kufanyia kazi. Muhtasari wa haki wa usahihi wa ugunduzi wa AI wa Turnitin: imara kwa matokeo safi, yasiyohaririwa ya ChatGPT, dhaifu kwa maana kwa kila kitu kati yake.

Kile mwalimu wako huona hasa

Wanafunzi kwa kawaida hawawezi kuona alama ya AI kabisa. Kiashiria huonekana katika mwonekano wa mkufunzi wa ripoti ya ufanano kama beji ndogo ya asilimia, tofauti na alama ya wizi wa maandishi. Kukibofya hufungua ripoti ambapo sentensi zilizotiwa alama huangaziwa, rangi moja kwa maandishi yaliyohukumiwa kutengenezwa na AI na nyingine kwa maandishi yaliyohukumiwa kutengenezwa na AI kisha kufafanuliwa upya na chombo.

Kile wakufunzi hufanya na skrini hiyo hutofautiana sana. Mwongozo wa Turnitin wenyewe huwaambia wachukulie alama kama ishara ya kuanzisha mazungumzo, si hukumu, na vyuo vikuu vingi vimeandika onyo hilo katika sera. Kwa vitendo, alama ya 15% kwenye karatasi iliyo imara vinginevyo mara nyingi hupuuzwa, huku alama ya 80% ikichochea uchunguzi wa karibu wa historia ya rasimu yako, marejeleo yako, na jinsi insha inavyolinganishwa na uandishi wako uliopita. Nambari hufungua faili; binadamu huifunga.

Je, Turnitin hugundua maandishi yaliyofafanuliwa upya au kubinadamishwa?

Wakati mwingine, na hapa ndipo mbio za silaha zinapoishi. Mwaka 2024 Turnitin iliongeza ugunduzi wa kufafanua upya wa AI, safu iliyofunzwa kubaini maandishi yaliyotengenezwa na LLM kisha kupitishwa kupitia chombo cha kufafanua upya. Kufafanua upya kwa bei rahisi, kumaanisha kubadilisha visawe kunakoacha muundo wa sentensi ya awali bila kubadilika, ndicho hasa safu hii inanasa, kwa sababu mfupa wa kitakwimu wa maandishi ya mashine huokoka mabadiliko ya maneno.

Uandishi upya wa kina zaidi ni hadithi tofauti. Muundo wa sentensi, mdundo, na maneno yanapojengwa upya kweli, alama ya kidole ambayo kigunduzi hutegemea hufifia. Hiyo ndiyo tofauti kati ya kupitisha kamusi ya visawe na ubinadamishaji halisi, nayo ndiyo sababu kibinadamishaji cha AI cha bure makini hukuonyesha alama za ugunduzi za kabla na baada badala ya kukuomba uchukue matokeo kwa imani. Kujaribu maandishi yako yaliyoandikwa upya dhidi ya vigunduzi halisi ndiyo njia pekee ya uaminifu ya kujua kama mabadiliko yalifanya kazi.

Je, hunasa maandishi ya AI uliyohariri mwenyewe?

Maandishi ya AI yaliyohaririwa kwa wepesi kwa kawaida bado hutiwa alama. Kubadilisha maneno machache, kufuta utangulizi, au kupanga upya aya mbili hakubadilishi takwimu za kiwango cha sentensi ambazo kigunduzi hupima, hivyo sehemu kubwa ya hati bado husomeka kama uandishi wa mashine. Wanafunzi hushangazwa mara kwa mara na hili: dakika kumi na tano za kung'arisha huhisi kama kazi halisi, lakini hazisogezi alama karibu kabisa.

Maandishi yaliyoandikwa upya kwa nguvu ni magumu zaidi kunasa, na Turnitin husema hivyo. Nyaraka zake huelezea kwamba uhakika hushuka kwenye hati zenye uandishi mchanganyiko, ambacho ndicho hasa sababu nyota ya alama ya chini ipo. Ikiwa ulitumia ChatGPT kwa muhtasari au rasimu ya jumla kisha ukaandika upya kila sentensi kwa sauti yako mwenyewe, kwa mifano yako mwenyewe na mabadiliko yako mwenyewe, maandishi ya mwisho kwa kiasi kikubwa ni yako kwa kipimo chochote cha kitakwimu. Kigunduzi ni kizuri katika kutafuta nathari ya mashine. Hakina njia ya kuona mawazo yaliyo chini yake.

GPT-4, Claude, Gemini: je, modeli ni muhimu?

Chini ya utakavyotarajia. Turnitin ilifunza kigunduzi chake kwa matokeo kutoka kwa modeli kubwa za lugha kama kategoria, si bidhaa moja, na kila modeli kuu ya mazungumzo hushiriki tabia ile ile ya msingi: kutabiri neno linalofuata lenye uwezekano mkubwa zaidi. Matokeo chaguo-msingi kutoka GPT-4o, Claude, na Gemini yote hubeba alama ya kidole ile ile laini, sawa, na majaribio huonyesha kwa uthabiti Turnitin hutia alama wote watatu kwa viwango vya juu maandishi yanapokuwa hayajahaririwa.

Nuances mbili ni za kweli. Modeli mpya zaidi hazitabiriki kwa kiasi kidogo kuliko maandishi ya GPT-3.5 ambayo kigunduzi kilipangwa kwayo awali, hivyo viwango vya ugunduzi kwenye modeli za mstari wa mbele vinaweza kushuka kidogo hadi Turnitin ifunze upya, jambo ambalo hufanya mara kwa mara. Na mbinu za kuomba kama "andika kama binadamu" au "ongeza burstiness" hubadilisha mtindo wa nje kidogo mno kuliko watu wanavyofikiri, kwa sababu modeli bado inachagua maneno yenye uwezekano mkubwa chini ya vazi. Kubadilisha chatbot si mkakati wa ugunduzi.

Jinsi wanafunzi hutiwa alama hasa

Alama ya juu ya AI pekee mara chache humzamisha yeyote. Kesi halisi hujengwa kutoka mnyororo wa ushahidi, na kiashiria ni kiungo cha kwanza tu. Mfumo ambao wakufunzi huelezea ni thabiti: asilimia ya juu, pamoja na hati isiyo na historia ya matoleo, pamoja na uandishi ulio wa kung'arishwa zaidi au wa jumla zaidi kwa dhahiri kuliko kazi ya awali ya mwanafunzi, pamoja na matatizo ya maudhui kama hoja zisizoeleweka au marejeleo yasiyokuwepo.

Hilo la mwisho linastahili msisitizo. Marejeleo yaliyotungwa ndio ushahidi mmoja unaolaani zaidi katika kesi za utovu wa nidhamu wa AI, kwa sababu hayawezi kuelezewa kwa mtindo wa uandishi. Alama ya kigunduzi inaweza kubishaniwa; karatasi iliyonukuliwa ambayo haikuwahi kuchapishwa haiwezi. Ikiwa unatumia vyombo vya AI kabisa, kwa uwezo wowote unaoruhusiwa, thibitisha kila chanzo kwa mkono, hifadhi rasimu zako, na andika kwa sauti inayolingana na sehemu nyingine ya kazi yako. Wanafunzi wanaonaswa karibu kamwe hawanaswi kwa asilimia pekee.

La kufanya ikiwa umeshtakiwa kwa uongo

Matokeo chanya ya uongo hutokea, na Turnitin hukiri. Utafiti pia umeonyesha kwamba vigunduzi vya AI kama kikundi hutia alama waandishi wasio wazawa wa Kiingereza kwa viwango vya juu, huenda kwa sababu Kiingereza cha makini, kilichojifunza huelekea kuwa cha sare zaidi na kinachotabirika, sifa hasa ambazo vigunduzi husoma kama za mashine. Ikiwa uliandika karatasi yako kwa uaminifu na ukatiwa alama, una msimamo unaoweza kutetewa, kwa hivyo usiogope na usikiri kitu ambacho hukukifanya.

Jenga faili yako ya ushahidi kabla ya mkutano. Historia ya matoleo kutoka Google Docs au Word ndio ushahidi wenye nguvu zaidi ulionao, kwa sababu huonyesha insha ikikua sentensi kwa sentensi kwa saa nyingi. Ongeza maelezo yako, muhtasari, historia ya utafiti wa kivinjari, na uandishi wa awali uliopewa alama unaoonyesha mtindo wako. Omba kuona ripoti halisi, na elekeza kwenye maonyo ya Turnitin yenyewe yaliyochapishwa: nyota kwenye alama za chini, kiwango cha matokeo chanya ya uongo katika kiwango cha sentensi, na tamko wazi la kampuni kwamba kiashiria hakipaswi kutumika kama ushahidi pekee. Taasisi nyingi zina mchakato wa rufaa. Utumie kwa utulivu na kwa maandishi.

Kagua kazi yako kabla ya kuwasilisha

Hii hapa hasira ya kivitendo: wanafunzi hawawezi kuona alama ya AI ya Turnitin kabla ya kuwasilisha, hivyo mara ya kwanza unapojua kuna tatizo mara nyingi ni wakati mbaya zaidi uwezekanao. Njia mbadala ni kujaribu rasimu yako dhidi ya vigunduzi huru kwanza. Havifanani na Turnitin, lakini hupima ishara zile zile za kitakwimu, na rasimu inayopata alama safi kwenye vigunduzi vingi ina uwezekano mdogo sana wa kuwasha kiashiria.

Hiki ndicho hasa Humanize AI kimejengwa kwa ajili yake. Bandika maandishi yako, au pakia faili ya PDF au DOCX, nawe hupata alama ya moja kwa moja ya uwezekano wa AI kutoka kwa vigunduzi viwili huru kabla ya kubadilisha chochote, kisha alama mpya baada ya kubinadamisha, katika lugha yoyote kati ya 40, bila kujisajili na bila vikomo vya maneno. Ikiwa alama yako iko juu zaidi ya ilivyotarajiwa, mwongozo wetu wa jinsi ya kukwepa ugunduzi wa AI wa Turnitin hupitia kuipunguza kwa uaminifu, huku sauti yako mwenyewe ikifanya sehemu kubwa ya kazi.

Maswali yanayoulizwa mara kwa mara