Cum funcționează de fapt detectoarele AI (și de ce te semnalează)

Ce măsoară cu adevărat un detector AI

Un detector AI nu știe cine a scris o propoziție. Nu ți-a văzut niciodată documentul înainte și nu îl poate verifica într-o bază de date ascunsă cu răspunsuri ChatGPT. În schimb, evaluează cât de previzibil este textul tău în comparație cu tiparele pe care modelele lingvistice mari tind să le producă.

Detectoarele moderne sunt ele însele modele de învățare automată, antrenate pe milioane de pasaje umane și AI. Ele caută amprentele statistice pe care generarea le lasă în urmă, apoi returnează o probabilitate. Nimic din acest proces nu verifică autorul. Un detector nu îți poate vedea istoricul de navigare și nu te poate urmări cum tastezi; poate spune doar că textul tău seamănă, sau nu seamănă, cu scrisul de mașină pe care a fost antrenat.

Gândește-te la el ca la un filtru de spam. A învățat cum arată de obicei mesajele nedorite, așa că semnalează mesajele care au acele trăsături, dar nu poate fi niciodată sigur în privința unui singur e-mail. Detectarea AI funcționează la fel, ceea ce înseamnă că fiecare scor este o bănuială îmbrăcată într-un număr. Asta schimbă și felul în care ar trebui să citești un rezultat: "85% AI" nu înseamnă că 85% din textul tău este scris de mașină. Înseamnă că detectorul este destul de încrezător într-o presupunere.

Perplexitatea: cât de surprinzătoare sunt cuvintele tale

Perplexitatea este semnalul cel mai important. Ea măsoară cât de surprins este un model lingvistic de fiecare cuvânt pe care l-ai ales. Dacă fiecare cuvânt următor este exact cel pe care modelul l-ar fi prezis, perplexitatea este scăzută, iar textul pare scris de mașină. Oamenii sunt mai puțin previzibili: alegem un adjectiv neobișnuit, încălcăm o regulă sau formulăm ceva ușor stângaci, iar fiecare dintre aceste alegeri crește perplexitatea.

O pereche concretă face asta vizibil. Propoziția unu: "Exercițiile fizice regulate sunt importante pentru că îmbunătățesc atât sănătatea fizică, cât și pe cea mentală." Propoziția doi: "Continui să fac sport pentru că genunchii mi se plâng mai puțin, iar inboxul pare mai puțin înfricoșător după aceea." Ambele sunt corecte gramatical și ambele spun în esență același lucru, dar prima este asamblată în întregime din cuvinte pe care un model lingvistic le-ar clasa drept cea mai probabilă alegere următoare; "exercițiile fizice regulate sunt importante pentru că" este practic un șablon. A doua își asumă riscuri mici: genunchi care se plâng, un inbox care înfricoșează. Un model care evaluează probabilitatea cuvânt cu cuvânt găsește prima propoziție deloc surprinzătoare, iar pe a doua cu adevărat greu de prezis, așa că prima se citește ca AI, iar a doua ca umană.

De aceea și scrisul șlefuit și generic este semnalat chiar și atunci când fiecare cuvânt a fost scris de o persoană. Perplexitatea nu măsoară efortul sau onestitatea, ci doar previzibilitatea, iar o parte din scrisul perfect uman este foarte previzibil.

Burstiness: ritmul scrisului real

Burstiness-ul măsoară variația în structura și lungimea propozițiilor. Oamenii scriu în rafale: o propoziție lungă și întortocheată urmată de una scurtă. Trei cuvinte. Apoi o frază complexă, plină de detalii, care se întinde mai mult decât ar trebui probabil.

Textul AI este mai neted. Lăsat pe setările implicite, un model produce propoziții care gravitează în jurul aceleiași lungimi, încep cu construcții similare și cad cu aceeași cadență uniformă, paragraf după paragraf. Pune-le pe cele două una lângă alta și adesea poți repera diferența înainte de a citi un cuvânt: textul uman arată zimțat pe pagină, textul de mașină arată ca o zidărie.

Detectoarele cuantifică acea zimțare. Burstiness scăzut plus perplexitate scăzută este semnătura clasică a AI-ului, iar când ambele sunt prezente, un detector devine încrezător că textul a fost generat, chiar dacă subiectul și gramatica sunt impecabile. Totuși, fiecare semnal luat separat este slab. Un poet scrie cu un burstiness sălbatic, iar un avocat de contracte aproape fără deloc, și amândoi sunt oameni, motiv pentru care instrumentele serioase combină întotdeauna cele două semnale.

Probabilitatea tokenurilor, sub capotă

Modelele lingvistice scriu câte un token pe rând, iar fiecare token vine cu un scor de probabilitate. Detectoarele aproximează aceste probabilități și verifică dacă textul tău se află în "zona de confort" a alegerilor probabile ale modelului. Când un pasaj este construit aproape în întregime din tokenuri cu probabilitate mare, aranjate într-un ritm uniform, el se potrivește cu felul în care ChatGPT, Gemini și Claude generează în mod implicit, iar detectorul transformă acel tipar în procentul pe care îl vezi.

Asta explică și de ce fragmentele scurte sunt nesigure la testare. Cu doar o propoziție sau două, nu există suficient semnal pentru a separa un om atent de un model, așa că scorurile oscilează puternic. Majoritatea furnizorilor recunosc asta în tăcere: mai mulți refuză să evalueze orice text sub câteva sute de cuvinte, pentru că sub acea lungime matematica este mai aproape de datul cu banul decât de o măsurătoare.

Detectoare statistice vs detectoare bazate pe clasificatori

Instrumentele de detectare se împart în două familii, iar a ști cu care ai de-a face explică multe rezultate ciudate. Detectoarele statistice folosesc un model lingvistic de referință pentru a calcula probabilitățile direct: îți trec textul prin model, măsoară perplexitatea, burstiness-ul și mărimi asociate, apoi aplică un prag. Metode de cercetare precum GLTR și DetectGPT funcționează astfel, la fel și scorarea din spatele multor verificatoare gratuite. Punctul lor forte este că nu au nevoie de date de antrenament etichetate; slăbiciunea lor este că verdictul depinde mult de modelul de referință care face evaluarea.

Detectoarele bazate pe clasificatori sunt, în schimb, antrenate. Furnizorul adună corpusuri mari de text uman cunoscut și text AI cunoscut, apoi ajustează fin un model, adesea un transformator în stil RoBERTa, ca să le deosebească. Turnitin, Originality.ai și Copyleaks sunt construite astfel. Clasificatorii surprind indicii subtile dincolo de perplexitatea brută, așa că tind să fie mai preciși pe texte asemănătoare cu datele lor de antrenament, dar se degradează pe scrisul modelelor mai noi, pe alte limbi sau pe domenii pe care nu le-au văzut niciodată, și nimeni din afara furnizorului nu poate inspecta ce au învățat de fapt.

Majoritatea produselor comerciale sunt acum hibrizi ai celor două abordări, unul dintre motivele pentru care scorurile lor sunt greu de interpretat și încă și mai greu de comparat între instrumente.

De ce este semnalat outputul ChatGPT, Gemini și Claude

Modelele de frontieră sunt antrenate să fie clare, sigure și fluente, iar runda finală a acelui antrenament recompensează răspunsurile pe care majoritatea evaluatorilor le consideră bine scrise. Asta împinge textul spre propoziții echilibrate, tranziții ordonate precum "mai mult decât atât" și "în concluzie" și un vocabular care rămâne în mijlocul statistic al drumului.

Exact aceleași calități sunt cele pe care le vânează detectoarele. Cu cât scrisul este mai șlefuit și mai "mediu", cu atât perplexitatea și burstiness-ul sunt mai scăzute, iar scorul AI este mai mare. În mod ironic, ciornele umane brute, pline de greșeli de tastare și ciudățenii, trec adesea mai ușor decât o primă ciornă AI curată, pentru că defectele sunt cele care poartă semnalul uman.

Ce verifică de fapt GPTZero, Turnitin, ZeroGPT și celelalte

Instrumentele majore împărtășesc aceeași logică de bază, dar o calibrează diferit. GPTZero a popularizat evaluarea perplexității și a burstiness-ului și le raportează pe ambele la nivel de propoziție. Turnitin AI integrează detectarea în suita sa antiplagiat pentru școli, împărțind documentele în segmente suprapuse și semnalându-le pe cele despre care clasificatorul său crede că sunt scrise de model.

ZeroGPT oferă o afișare rapidă și gratuită propoziție cu propoziție, în timp ce Originality.ai vizează editorii și echipele SEO cu un scor strict, ponderat pe încredere. Copyleaks pune accent pe acoperirea multilingvă și pe raportarea pentru companii. Toate sunt probabilistice, motiv pentru care niciunul nu poate pretinde onest că este perfect, și motiv pentru care marketingul de acuratețe al fiecărui furnizor descrie discret teste concepute chiar de furnizor.

De ce detectoarele nu se pun de acord între ele

Lipește același eseu în trei detectoare și poți obține 2% AI de la unul, 45% de la altul și 88% de la al treilea. Această împrăștiere nu este un defect al unuia dintre ele; este ceea ce se întâmplă când sisteme diferite fac presupuneri diferite pornind de la aceleași dovezi.

Fiecare instrument este antrenat pe propriul corpus, evaluează cu propriul model de referință, împarte textul diferit (document întreg versus propoziție cu propoziție) și își stabilește propriul prag pentru ce înseamnă "probabil AI". Un instrument calibrat să evite acuzațiile false va fi conservator și va semnala prea puțin; un instrument vândut pe promisiunea de a prinde trișorii va fi agresiv și va semnala în exces același text. Ele se actualizează și după calendare diferite, așa că un detector calibrat înainte de lansarea unui model nou va judeca greșit stilul acelui model luni întregi.

Lecția practică este că niciun scor singular nu este definitiv, iar dezacordul dintre instrumente este dovada directă a cât de multă ghicire este implicată. Dacă școala ta verifică cu Turnitin, doar verdictul Turnitin contează, iar un scor curat în altă parte nici nu îl prezice, nici nu te protejează de el.

Fals pozitive: cifrele publicate

Pentru că detectoarele judecă previzibilitatea, ele dau greș în mod curent, iar ratările nu sunt ipotetice. Propriul clasificator al OpenAI, lansat în ianuarie 2023, a identificat doar 26% din textul scris de AI, etichetând în același timp greșit 9% din textul uman drept AI, iar compania l-a retras în șase luni din cauza acurateței scăzute. Turnitin susține o rată de fals pozitive sub 1% la nivel de document, dar a recunoscut că propozițiile semnalate individual sunt mult mai puțin fiabile, motiv pentru care reține scorurile pe documentele cu doar cantități mici de text suspectat ca AI.

Cea mai îngrijorătoare descoperire îi privește pe vorbitorii non-nativi de engleză. Cercetătorii de la Stanford au testat șapte detectoare populare pe eseuri scrise de studenți reali pentru examenul TOEFL și au constatat că, în medie, 61% dintre aceste eseuri scrise de oameni au fost semnalate ca generate de AI, iar aproape toate au fost semnalate de cel puțin un detector. Eseurile studenților americani vorbitori nativi au trecut prin aceleași instrumente aproape neatinse.

Mecanismul este exact cel descris în acest articol: cei care scriu într-o a doua limbă tind să folosească un vocabular mai sigur și structuri de propoziție mai regulate, ceea ce scade perplexitatea, ceea ce se citește ca text de mașină. Prejudecata este încorporată în metoda însăși. De aceea școlile responsabile tratează un scor de detector ca începutul unei conversații, nu ca o dovadă. Un număr nu este o probă.

Filigranarea: soluția care nu a fost încă livrată

Cercetătorii susțin de mult că soluția reală este filigranarea: ca modelul AI însuși să încorporeze o semnătură statistică invizibilă în momentul generării. În cea mai cunoscută schemă, modelul favorizează în secret o "listă verde" rotativă de tokenuri în timp ce scrie. Un cititor nu poate observa tiparul, dar un detector care deține cheia îl poate testa cu o acuratețe mult mai bună decât ghicitul pe bază de perplexitate.

În mare parte, nu a fost livrată. OpenAI a construit un sistem de filigranare a textului raportat intern ca fiind eficient în proporție de aproximativ 99,9% pe pasaje lungi, și a stat pe el, invocând îngrijorări că parafrazarea sau traducerea elimină marcajul, că ar putea stigmatiza vorbitorii non-nativi care folosesc legitim AI pentru șlefuire și, mai puțin nobil, că utilizatorii ar trece pur și simplu la instrumente care nu filigranează. SynthID-Text de la Google este excepția, rulând în interiorul Gemini și lansat ca open source, dar marchează doar outputul propriu al Gemini.

Aceasta este problema centrală: un filigran acoperă doar modelele ai căror creatori cooperează, iar modelele cu greutăți deschise, pe care oricine le poate rula local, nu vor purta niciodată unul. Așa că detectorul pe care școala sau angajatorul tău îl folosește astăzi face în continuare statistică, nu citește filigrane, cu toată incertitudinea pe care asta o implică.

Cum tratează detectoarele textul mixt, uman și AI

Documentele reale sunt rareori un singur lucru. Un student schițează introducerea de mână, îi cere lui ChatGPT să extindă două paragrafe de conținut, apoi editează totul. Detectoarele gestionează asta glisând o fereastră peste document, evaluând fiecare propoziție sau segment separat și evidențiind porțiunile care par generate.

Amestecul slăbește fiecare semnal. Editările umane dintr-un paragraf AI îi ridică perplexitatea; propozițiile AI dintr-o secțiune umană îi trag ritmul spre uniformitate. Rezultatul este un scor mediu care poate însemna "jumătate AI" sau "complet uman, dar scris ciudat", iar evidențierile per propoziție sunt vizibil mai puțin fiabile decât numărul general. Turnitin, de exemplu, a spus că semnalările sale la nivel de propoziție au o rată de eroare mai mare decât scorul pe document, iar o vreme a refuzat cu totul să afișeze procentele mici pentru că erau atât de șubrede.

Pe scurt: cu cât documentul este mai amestecat, cu atât verdictul este mai neclar, iar propozițiile evidențiate într-un raport merită și mai mult scepticism decât procentul din titlu.

Cum scade umanizarea scorul

Dacă detectoarele recompensează perplexitatea și burstiness-ul ridicate, soluția este să scrii mai mult ca un om: variază lungimea propozițiilor, folosește alegeri de cuvinte mai puțin previzibile, adaugă tranziții naturale și rupe ritmul uniform. Să faci asta manual pe un document întreg este lent, motiv pentru care există un umanizator AI: el rescrie textul și restaurează automat acea variație umană.

Un instrument precum Humanize AI reformulează outputul modelului astfel încât să își recapete burstiness-ul natural și formulările mai puțin previzibile, ajutându-l să ocolească detectarea AI și păstrându-ți în același timp sensul intact. Esențial, el arată un scor înainte și după de la detectoare reale, așa că măsori schimbarea în loc să speri. Scopul nu este înșelăciunea, ci un scris care în sfârșit sună ca tine.

Ce înseamnă asta pentru tine în practică

Câteva obiceiuri decurg direct din felul în care funcționează tehnologia. Testează înainte să predai, pentru că a ghici un scor este inutil când verificarea este gratuită; îți poți trece ciorna prin umanizatorul AI gratuit și poți vedea cifrele detectoarelor înaintea oricui altcuiva. Nu te încrede niciodată într-un verdict pe un pasaj scurt și tratează evidențierile la nivel de propoziție cel mult ca dovezi slabe.

Dacă scrii onest, păstrează-ți dovezile: versiunile ciornelor, notițele și istoricul de editare sunt probe de autorat mult mai bune decât orice contra-scor, mai ales dacă ești un vorbitor non-nativ care scrie în registrul formal de care detectoarele se feresc. Iar dacă ai de-a face cu un verificator anume, învață-i comportamentul specific; Turnitin în special are particularități care merită cunoscute, motiv pentru care am scris ghidul Turnitin ca însoțitor al acestuia.

Mai presus de toate, amintește-ți ce este un detector. Este un identificator de tipare care evaluează previzibilitatea, construit de un furnizor, calibrat la un prag și greșit într-o proporție măsurabilă în ambele direcții. Util, uneori. Dovadă, niciodată.

Întrebări frecvente