Jinsi Vigunduzi vya AI Vinavyofanya Kazi Hasa (na Kwa Nini Vinakutia Alama)

Kigunduzi cha AI kinapima nini hasa

Kigunduzi cha AI hakijui ni nani aliandika sentensi. Hakijawahi kuona hati yako, na hakiwezi kuilinganisha na hifadhidata iliyofichwa ya matokeo ya ChatGPT. Badala yake, hutia alama kadiri maandishi yako yanavyotabirika ikilinganishwa na mifumo ambayo modeli kubwa za lugha huelekea kuzalisha.

Vigunduzi vya kisasa vyenyewe ni modeli za kujifunza kwa mashine zilizofunzwa kwa mamilioni ya vifungu vya binadamu na vya AI. Hutafuta alama za kidole za kitakwimu ambazo uzalishaji huacha nyuma, kisha hutoa uwezekano. Hakuna kitu katika mchakato huo kinachothibitisha uandishi. Kigunduzi hakiwezi kuona historia yako ya kivinjari wala kukutazama ukiandika; kinaweza tu kusema kwamba maandishi yako yanafanana, au hayafanani, na uandishi wa mashine ambao kilifunzwa kwao.

Fikiria kama kichujio cha barua taka. Kimejifunza jinsi barua takataka kawaida huonekana, hivyo hutia alama ujumbe unaoshiriki sifa hizo, lakini hakiwezi kamwe kuwa na uhakika kuhusu barua pepe yoyote moja. Ugunduzi wa AI hufanya kazi kwa njia ile ile, jambo linalomaanisha kila alama ni dhana iliyovikwa kama nambari. Hilo pia hubadilisha jinsi unavyopaswa kusoma matokeo: "85% AI" haimaanishi 85% ya maandishi yako imeandikwa na mashine. Inamaanisha kigunduzi kina uhakika wa kiasi kuhusu kisio.

Perplexity: kadiri maneno yako yanavyoshangaza

Perplexity ndiyo ishara moja muhimu zaidi. Hupima kadiri modeli ya lugha inavyoshangazwa na kila neno ulilochagua. Ikiwa kila neno linalofuata ni hasa kile modeli ingelitabiri, perplexity iko chini, na maandishi huonekana kuandikwa na mashine. Binadamu hawatabiriki sana: tunatafuta kivumishi cha ajabu, tunavunja kanuni, au tunatunga jambo kwa njia isiyo laini kidogo, na kila mojawapo ya machaguo hayo husukuma perplexity juu.

Jozi halisi hufanya hili lionekane. Sentensi ya kwanza: "Mazoezi ya kawaida ni muhimu kwa sababu huboresha afya ya mwili na akili." Sentensi ya pili: "Ninaendelea kufanya mazoezi kwa sababu magoti yangu hulalamika kidogo na kikasha changu cha barua huhisi cha kutisha kidogo baadaye." Zote mbili ni sahihi kisarufi na zote mbili hutoa hoja ile ile ya msingi, lakini ya kwanza imekusanywa kabisa kutoka maneno ambayo modeli ya lugha ingeyapanga kama chaguo linalofuata lenye uwezekano mkubwa zaidi; "mazoezi ya kawaida ni muhimu kwa sababu" ni karibu kiolezo. Ya pili huchukua hatari ndogo: magoti yanayolalamika, kikasha kinachotisha. Modeli inayotia alama uwezekano neno kwa neno huona sentensi ya kwanza haishangazi na ya pili ni ngumu kweli kutabiri, hivyo ya kwanza husomeka kama AI na ya pili husomeka kama ya binadamu.

Hii pia ndiyo sababu uandishi uliong'arishwa, wa jumla hutiwa alama hata mtu alipoandika kila neno. Perplexity haipimi juhudi wala uaminifu, utabirikaji tu, na baadhi ya uandishi wa binadamu kabisa unatabirika sana.

Burstiness: mdundo wa uandishi halisi

Burstiness hupima tofauti katika muundo na urefu wa sentensi. Watu huandika kwa milipuko: sentensi ndefu, inayozungukazunguka ikifuatwa na fupi. Maneno matatu. Kisha kishazi tata kilichojaa maelezo kinachoendelea kwa muda mrefu zaidi ya labda inavyopaswa.

Matokeo ya AI ni laini zaidi. Ikiachwa katika chaguo-msingi zake, modeli huzalisha sentensi zinazozunguka urefu ule ule, huanza kwa miundo inayofanana, na hutua kwa mdundo ule ule sawa, aya baada ya aya. Weka mbili hizo ubavu kwa ubavu na mara nyingi unaweza kuona tofauti kabla ya kusoma neno: maandishi ya binadamu huonekana yenye ncha ncha kwenye ukurasa, maandishi ya mashine huonekana kama ujenzi wa matofali.

Vigunduzi hupima ncha ncha hizo. Burstiness ya chini pamoja na perplexity ya chini ni saini ya kawaida ya AI, na wakati zote mbili zipo kigunduzi hupata uhakika kwamba maandishi yalitengenezwa, hata kama mada na sarufi ni kamilifu. Ishara yoyote pekee ni dhaifu, hata hivyo. Mshairi huandika kwa burstiness ya kupindukia na wakili wa mikataba kwa karibu sifuri, na wote wawili ni binadamu, ambacho ndicho sababu vyombo makini daima huchanganya hizi mbili.

Uwezekano wa token ndani ya pazia

Modeli za lugha huandika token moja kwa wakati, na kila token huja na alama ya uwezekano. Vigunduzi hukadiria uwezekano huu na hukagua kama maandishi yako yako ndani ya "eneo la starehe" la modeli la machaguo yenye uwezekano. Kifungu kinapojengwa karibu kabisa kutoka token zenye uwezekano mkubwa zilizopangwa kwa mdundo sawa, hulingana na jinsi ChatGPT, Gemini, na Claude huzalisha kwa chaguo-msingi, na kigunduzi hubadilisha mfumo huo kuwa asilimia unayoiona.

Hii pia hueleza kwa nini vipande vifupi si vya kutegemewa kujaribu. Kwa sentensi moja au mbili tu, hakuna ishara ya kutosha kutenganisha binadamu makini na modeli, hivyo alama huyumba sana. Wauzaji wengi hukubali kimyakimya: wengi hukataa kutia alama chochote chini ya mamia machache ya maneno, kwa sababu chini ya urefu huo hesabu iko karibu na kupiga sarafu kuliko kipimo.

Vigunduzi vya kitakwimu dhidi ya vigunduzi vinavyotegemea kiainishi

Vyombo vya ugunduzi hugawanyika katika familia mbili, na kujua unakabiliana na ipi hueleza matokeo mengi ya ajabu. Vigunduzi vya kitakwimu hutumia modeli ya lugha ya marejeleo kuhesabu uwezekano moja kwa moja: hupitisha maandishi yako kupitia modeli, hupima perplexity, burstiness, na kiasi vinavyohusiana, kisha hutumia kizingiti. Mbinu za utafiti kama GLTR na DetectGPT hufanya kazi kwa njia hii, na vivyo hivyo utoaji wa alama nyuma ya vikaguzi vingi vya bure. Nguvu yao ni kwamba havihitaji data ya mafunzo yenye lebo; udhaifu wao ni kwamba hukumu hutegemea sana ni modeli ipi ya marejeleo inayotia alama.

Vigunduzi vinavyotegemea kiainishi hufunzwa badala yake. Muuzaji hukusanya makusanyo makubwa ya maandishi ya binadamu yanayojulikana na ya AI yanayojulikana, kisha hurekebisha vizuri modeli, mara nyingi transformer ya mtindo wa RoBERTa, kutofautisha hizo mbili. Turnitin, Originality.ai, na Copyleaks vimejengwa kwa njia hii. Viainishi hunasa vidokezo hafifu zaidi ya perplexity ghafi, hivyo huelekea kuwa sahihi zaidi kwa maandishi yanayofanana na data yao ya mafunzo, lakini hudhoofika kwa uandishi kutoka modeli mpya zaidi, lugha nyingine, au maeneo ambayo hawakuwahi kuona, na hakuna mtu nje ya muuzaji anayeweza kuchunguza kile walichojifunza hasa.

Bidhaa nyingi za kibiashara sasa ni mchanganyiko wa mbinu zote mbili, ambacho ni sababu moja alama zao ni ngumu kutafsiri na ngumu zaidi kulinganisha kati ya vyombo.

Kwa nini matokeo ya ChatGPT, Gemini, na Claude hutiwa alama

Modeli za mstari wa mbele hufunzwa kuwa wazi, salama, na fasaha, na duru ya mwisho ya mafunzo hayo hutuza majibu ambayo wakaguzi wengi huyakadiria kama yaliyoandikwa vizuri. Hilo husukuma matokeo kuelekea sentensi zenye uwiano, mabadiliko nadhifu kama "zaidi ya hayo" na "kwa kuhitimisha," na msamiati unaobaki katikati ya barabara kitakwimu.

Sifa hizo hizo ndizo hasa vigunduzi huvinjari. Kadiri uandishi unavyong'arishwa zaidi na kuwa "wa wastani," ndivyo perplexity na burstiness yake inavyoshuka, na alama ya AI inavyopanda. Kwa kushangaza, rasimu ghafi za binadamu zilizojaa makosa ya kuchapa na mambo ya kipekee mara nyingi hupita kwa urahisi zaidi kuliko rasimu ya kwanza safi ya AI, kwa sababu kasoro ndizo hubeba ishara ya binadamu.

Kile GPTZero, Turnitin, ZeroGPT na vingine hukagua hasa

Vyombo vikuu hushiriki mantiki ile ile ya msingi lakini huipanga tofauti. GPTZero ilieneza utiaji alama wa perplexity na burstiness na huripoti zote mbili katika kiwango cha sentensi. Turnitin AI huunganisha ugunduzi katika seti yake ya wizi wa maandishi kwa shule, ikivunja hati kuwa vipande vinavyopishana na kutia alama vile ambavyo kiainishi chake kinaamini viliandikwa na modeli.

ZeroGPT hutoa usomaji wa haraka, wa bure kwa kila sentensi, huku Originality.ai ikilenga wachapishaji na timu za SEO kwa alama kali, iliyopimwa kwa uhakika. Copyleaks husisitiza ufunikaji wa lugha nyingi na uripoti wa kibiashara. Vyote ni vya kiuwezekano, ambacho ndicho sababu hakuna kinachoweza kudai kwa uaminifu kuwa kamilifu, na kwa nini masoko ya usahihi ya kila muuzaji hueleza kimyakimya majaribio ambayo muuzaji mwenyewe aliyabuni.

Kwa nini vigunduzi hutofautiana wao kwa wao

Bandika insha ile ile kwenye vigunduzi vitatu na unaweza kupata 2% AI kutoka kimoja, 45% kutoka kingine, na 88% kutoka cha tatu. Utawanyiko huo si hitilafu katika mojawapo yao; ni kinachotokea wakati mifumo tofauti hufanya makisio tofauti kutoka ushahidi ule ule.

Kila chombo hufunzwa kwa kusanyo lake mwenyewe, hutia alama kwa modeli yake ya marejeleo, hugawa maandishi tofauti (hati nzima dhidi ya sentensi kwa sentensi), na huweka kizingiti chake mwenyewe cha kinachohesabika kama "uwezekano wa AI." Chombo kilichosawazishwa kuepuka mashtaka ya uongo kitakuwa cha hadhari na kutia alama chini; chombo kinachouzwa kwa kunasa wadanganyifu kitakuwa kikali na kutia alama zaidi maandishi yale yale. Pia husasisha kwa ratiba tofauti, hivyo kigunduzi kilichopangwa kabla ya modeli mpya kuzinduliwa kitahukumu vibaya mtindo wa modeli hiyo kwa miezi.

Somo la kivitendo ni kwamba hakuna alama moja iliyo ya uhakika, na kutofautiana kati ya vyombo ni ushahidi wa moja kwa moja wa kiasi cha ukisiaji unaohusika. Ikiwa shule yako hukagua kwa Turnitin, hukumu ya Turnitin pekee ndiyo yenye maana, na alama safi mahali pengine haitabiri wala haikukingi dhidi yake.

Matokeo chanya ya uongo: nambari zilizochapishwa

Kwa sababu vigunduzi huhukumu utabirikaji, hukosea mara kwa mara, na makosa si ya kudhania. Kiainishi cha OpenAI chenyewe, kilichozinduliwa Januari 2023, kilitambua 26% tu ya maandishi yaliyoandikwa na AI huku kikitia lebo vibaya 9% ya maandishi ya binadamu kama AI, na kampuni ilikistaafisha ndani ya miezi sita kwa usahihi wa chini. Turnitin hudai kiwango cha matokeo chanya ya uongo katika kiwango cha hati chini ya 1%, lakini imekiri kwamba sentensi mmoja mmoja zilizotiwa alama si za kutegemewa zaidi, ambacho ndicho sababu huzuia alama kwenye hati zenye kiasi kidogo tu cha maandishi yanayoshukiwa ya AI.

Ugunduzi unaosumbua zaidi unahusu wasemaji wasio wazawa wa Kiingereza. Watafiti wa Stanford walijaribu vigunduzi saba maarufu kwenye insha zilizoandikwa na wanafunzi halisi kwa mtihani wa TOEFL na kugundua kwamba, kwa wastani, 61% ya insha hizi zilizoandikwa na binadamu zilitiwa alama kama zilizotengenezwa na AI, na karibu zote zilitiwa alama na angalau kigunduzi kimoja. Insha za wanafunzi wa Marekani wanaozungumza kwa uzawa zilipita katika vyombo vile vile karibu bila kuguswa.

Utaratibu ni hasa kile makala hii inaeleza: waandishi wanaofanya kazi katika lugha ya pili huelekea kutumia msamiati salama zaidi na miundo ya sentensi ya kawaida zaidi, jambo linaloshusha perplexity, linalosomeka kama maandishi ya mashine. Upendeleo umeokwa ndani ya mbinu yenyewe. Hii ndiyo sababu shule zenye uwajibikaji huchukulia alama ya kigunduzi kama mwanzo wa mazungumzo, si kama uthibitisho. Nambari si ushahidi.

Uwekaji wa alama ya maji: suluhisho ambalo halijafikishwa

Watafiti wamehoji kwa muda mrefu suluhisho halisi ni uwekaji wa alama ya maji: kuifanya modeli ya AI yenyewe kupachika saini ya kitakwimu isiyoonekana wakati wa uzalishaji. Katika mpango unaojulikana zaidi, modeli hupendelea kwa siri "orodha ya kijani" inayozunguka ya token wakati wa kuandika. Msomaji hawezi kutambua mfumo, lakini kigunduzi kinachoshika ufunguo kinaweza kuupima kwa usahihi bora zaidi kuliko kukisia kwa perplexity.

Kwa kiasi kikubwa haujafikishwa. OpenAI ilijenga kiwekaji cha alama ya maji kwa maandishi kilichoripotiwa ndani kuwa na ufanisi wa takriban 99.9% kwenye vifungu virefu, na imekikalia, ikitaja wasiwasi kwamba kufafanua upya au kutafsiri huondoa alama, kwamba kunaweza kunyanyapaa wasemaji wasio wazawa wanaotumia AI kihalali kwa ung'arishaji, na, kwa heshima ndogo zaidi, kwamba watumiaji wangehamia tu kwenye vyombo visivyoweka alama ya maji. SynthID-Text ya Google ni ubaguzi, ikiendeshwa ndani ya Gemini na kutolewa kama chanzo huria, lakini huweka alama matokeo ya Gemini yenyewe pekee.

Hilo ndilo tatizo la msingi: alama ya maji hufunika tu modeli ambazo watengenezaji wao hushirikiana, na modeli za uzito huria ambazo mtu yeyote anaweza kuendesha ndani hazitawahi kubeba moja. Kwa hivyo kigunduzi ambacho shule au mwajiri wako hutumia leo bado kinafanya takwimu, si kusoma alama za maji, na kutokuwa na uhakika kote ambako hilo linadokeza.

Jinsi vigunduzi hushughulikia maandishi mchanganyiko wa binadamu na AI

Hati halisi mara chache huwa kitu kimoja chote. Mwanafunzi huandika utangulizi kwa mkono, humwomba ChatGPT apanue aya mbili za mwili, kisha huhariri kila kitu. Vigunduzi hushughulikia hili kwa kuteleza dirisha katika hati, kutia alama kila sentensi au kipande kando, na kuangazia sehemu zinazoonekana kutengenezwa.

Kuchanganya hudhoofisha kila ishara. Uhariri wa binadamu ndani ya aya ya AI hupandisha perplexity yake; sentensi za AI ndani ya sehemu ya binadamu huvuta mdundo wake kuelekea usare. Matokeo ni alama ya kipimo cha kati inayoweza kumaanisha "nusu AI" au "binadamu wote, iliyoandikwa kwa ajabu," na uangaziaji wa kila sentensi si wa kutegemewa kwa dhahiri kuliko nambari ya jumla. Turnitin, kwa mfano, imesema alama zake za kiwango cha sentensi hubeba kiwango cha juu cha makosa kuliko alama yake ya hati, na kwa muda ilikataa kuonyesha asilimia za chini kabisa kwa sababu zilikuwa za kutetereka sana.

Kwa ufupi: kadiri hati inavyochanganyika zaidi, ndivyo hukumu inavyokuwa na ukungu zaidi, na sentensi zilizoangaziwa katika ripoti zinastahili mashaka zaidi kuliko asilimia ya kichwa cha habari.

Jinsi kubinadamisha kunavyoshusha alama

Ikiwa vigunduzi hutuza perplexity na burstiness ya juu, suluhisho ni kuandika zaidi kama mtu: badilisha urefu wa sentensi, tumia machaguo ya maneno yasiyotabirika zaidi, ongeza mabadiliko ya asili, na uvunje mdundo wa sare. Kufanya hivi kwa mkono katika hati nzima ni polepole, ambacho ndicho sababu kibinadamishaji cha AI kipo kuandika upya maandishi na kurejesha tofauti hiyo ya kibinadamu kiotomatiki.

Chombo kama Humanize AI hutunga upya matokeo ya modeli ili yarejeshe burstiness ya asili na maneno yasiyotabirika zaidi, kikiisaidia kukwepa ugunduzi wa AI huku kikihifadhi maana yako bila kubadilika. Muhimu, huonyesha alama ya kabla-na-baada kutoka kwa vigunduzi halisi, hivyo unapima mabadiliko badala ya kutumaini. Lengo si udanganyifu bali uandishi ambao hatimaye husikika kama wewe.

Maana ya hili kwako kwa vitendo

Tabia chache hufuata moja kwa moja kutoka jinsi teknolojia inavyofanya kazi. Jaribu kabla ya kuwasilisha, kwa sababu kukisia alama hakuna maana wakati kukagua ni bure; unaweza kupitisha rasimu yako kupitia kibinadamishaji cha AI cha bure na kuona nambari za kigunduzi kabla ya mtu mwingine yeyote. Kamwe usiamini hukumu kwenye kifungu kifupi, na chukulia uangaziaji wa kiwango cha sentensi kama ushahidi dhaifu kwa uzuri zaidi.

Ikiwa unaandika kwa uaminifu, weka risiti zako: matoleo ya rasimu, maelezo, na historia ya uhariri ni uthibitisho bora zaidi wa uandishi kuliko alama pinzani yoyote, hasa ikiwa wewe ni msemaji asiye mzawa unayeandika katika usajili rasmi ambao vigunduzi havikiamini. Na ikiwa unakabiliana na kikaguzi mahususi, jifunze tabia yake mahususi; Turnitin hasa ina mambo ya kipekee yanayostahili kujulikana, ambacho ndicho sababu tuliandika mwongozo wa Turnitin kama mwenza wa huu.

Zaidi ya yote, kumbuka kigunduzi ni nini. Ni kilinganishi cha mifumo kinachotia alama utabirikaji, kilichojengwa na muuzaji, kilichopangwa kwa kizingiti, na chenye kosa kwa kiwango kinachoweza kupimwa katika pande zote mbili. Chenye manufaa, wakati mwingine. Uthibitisho, kamwe.

Maswali yanayoulizwa mara kwa mara