Turnitin rileva ChatGPT? La risposta onesta

La risposta diretta: sì, con avvertenze importanti

Turnitin include un indicatore di scrittura IA nei suoi report di similarità da aprile 2023, ed è stato costruito specificamente per individuare il testo prodotto da modelli linguistici di grandi dimensioni come ChatGPT. Se incolli una risposta di ChatGPT direttamente in un saggio e la consegni, ci sono altissime probabilità che Turnitin ne segnali la maggior parte. Su questo non ci sono dubbi.

Le avvertenze contano altrettanto. L'indicatore è una stima statistica, non una prova. Funziona solo sulle consegne che soddisfano i requisiti minimi, attualmente almeno 300 parole di prosa. È meno affidabile sui documenti misti umano-IA, ha un problema documentato di falsi positivi a livello di frase, e Turnitin stessa dice ai docenti che il punteggio non dovrebbe mai essere l'unica base per una decisione di illecito accademico. Quindi Turnitin può rilevare l'IA? Sì. Può dimostrare che l'hai usata? No, ed è in quel divario che si decide ogni caso reale.

Come funziona l'indicatore di scrittura IA di Turnitin

Turnitin non confronta il tuo saggio con un database di output di ChatGPT. Invece, suddivide il documento in segmenti sovrapposti di qualche centinaio di parole, poi assegna a ogni frase un punteggio in base a quanto è statisticamente prevedibile. I modelli linguistici scrivono scegliendo ripetutamente la parola successiva più probabile, il che produce un testo insolitamente fluido, uniforme e privo di sorprese. La scrittura umana è più disordinata: le lunghezze delle frasi variano, le scelte lessicali sono a volte insolite e il ritmo sale e scende.

I due segnali che guidano gran parte del processo sono la perplessità, cioè quanto sono prevedibili le tue scelte di parole, e la burstiness, cioè quanto varia la struttura delle tue frasi. Se un passaggio è costantemente fluido e costantemente uniforme, il modello contrassegna le sue frasi come probabilmente IA. Approfondiamo i meccanismi nella nostra guida su come funzionano i rilevatori di IA, ma il punto chiave è semplice: Turnitin rileva l'impronta statistica della scrittura automatica, non il contenuto di uno specifico chatbot.

Cosa significa davvero il punteggio percentuale

Il numero che i docenti vedono è la percentuale di frasi idonee nel tuo documento che il modello ritiene generate dall'IA. Un punteggio del 40% non significa che Turnitin è sicura al 40% che tu abbia barato. Significa che circa il 40% delle tue frasi in prosa è sembrato al modello scritto da una macchina. Sono affermazioni molto diverse, e confonderle è l'errore più comune nei colloqui per illecito accademico.

Vale la pena conoscere due dettagli. Primo, Turnitin mostra i punteggi tra l'1% e il 19% con un asterisco, perché la sua stessa ricerca ha rilevato che i punteggi bassi hanno più probabilità di contenere falsi positivi, e alcune istituzioni configurano i report per nascondere del tutto quella fascia. Secondo, l'indicatore ignora il testo non idoneo, come elenchi puntati, codice, tabelle e frasi molto brevi, quindi la percentuale descrive solo una parte del tuo documento.

Quanto è accurato il rilevamento IA di Turnitin?

L'affermazione pubblicata da Turnitin è che l'indicatore identifica la scrittura IA con un'accuratezza intorno al 98%, mantenendo il tasso di falsi positivi a livello di documento sotto l'1% per gli elaborati in cui più del 20% del testo è generato dall'IA. Quei numeri provengono dai test di laboratorio della stessa Turnitin e descrivono uno scenario specifico: testo IA in gran parte non modificato, in prosa inglese.

L'esame indipendente è stato meno lusinghiero. Poco dopo il lancio, Turnitin ha ammesso che i falsi positivi a livello di frase erano più alti del previsto, vicini al 4% nei documenti con un misto di scrittura umana e IA. I giornalisti che hanno testato lo strumento nel 2023 hanno scoperto che inciampava sui saggi ibridi, lasciandosi sfuggire passaggi IA e segnalando quelli umani. E nell'agosto 2023 la Vanderbilt University ha disattivato pubblicamente la funzione, sostenendo che il rischio di falsi positivi era troppo alto per basarci delle decisioni. Il riassunto onesto dell'accuratezza del rilevamento IA di Turnitin: forte sull'output puro e non modificato di ChatGPT, sensibilmente più debole su tutto ciò che sta nel mezzo.

Cosa vede davvero il tuo docente

Gli studenti di solito non possono vedere affatto il punteggio IA. L'indicatore compare nella vista del docente del report di similarità come un piccolo badge percentuale, separato dal punteggio di plagio. Cliccandolo si apre un report in cui le frasi segnalate sono evidenziate, con un colore per il testo giudicato generato dall'IA e un altro per il testo giudicato generato dall'IA e poi parafrasato con uno strumento.

Cosa facciano i docenti con quella schermata varia enormemente. Le linee guida della stessa Turnitin dicono loro di trattare il punteggio come un segnale per avviare una conversazione, non come un verdetto, e molte università hanno inserito questa cautela nelle proprie politiche. In pratica, un punteggio del 15% su un elaborato altrimenti solido viene spesso ignorato, mentre un punteggio dell'80% fa scattare un esame più attento della cronologia delle bozze, delle citazioni e del confronto tra il saggio e i tuoi lavori precedenti. Il numero apre il fascicolo; a chiuderlo è un essere umano.

Turnitin rileva il testo parafrasato o umanizzato?

A volte, ed è qui che si gioca la corsa agli armamenti. Nel 2024 Turnitin ha aggiunto il rilevamento della parafrasi IA, un livello addestrato a individuare il testo generato da un LLM e poi passato in uno strumento di parafrasi. La parafrasi a buon mercato, cioè la sostituzione di sinonimi che lascia intatta la struttura originale delle frasi, è esattamente ciò che questo livello intercetta, perché lo scheletro statistico del testo automatico sopravvive ai cambi di parole.

La riscrittura profonda è un'altra storia. Quando struttura delle frasi, ritmo e formulazione vengono davvero ricostruiti, l'impronta su cui si basa il rilevatore svanisce. Questa è la differenza tra una passata di sinonimi e una vera umanizzazione, ed è per questo che un serio umanizzatore di IA gratuito ti mostra i punteggi di rilevamento prima e dopo, invece di chiederti di accettare i risultati sulla fiducia. Testare il testo riscritto con rilevatori reali è l'unico modo onesto di sapere se la trasformazione ha funzionato.

Intercetta il testo IA che hai modificato tu stesso?

Il testo IA modificato leggermente di solito viene comunque segnalato. Cambiare una manciata di parole, eliminare un'introduzione o riordinare due paragrafi non cambia le statistiche a livello di frase che il rilevatore misura, quindi la maggior parte del documento continua a leggersi come scrittura automatica. Gli studenti ne restano regolarmente sorpresi: quindici minuti di rifinitura sembrano un lavoro vero, ma spostano appena il punteggio.

Il testo riscritto in profondità è molto più difficile da intercettare, e Turnitin lo dice. La sua documentazione osserva che l'affidabilità cala sui documenti a paternità mista, ed è proprio per questo che esiste l'asterisco sui punteggi bassi. Se hai usato ChatGPT per una scaletta o una bozza grezza e poi hai riscritto ogni frase con la tua voce, con i tuoi esempi e le tue transizioni, il testo finale è in gran parte tuo per qualsiasi misura statistica. Il rilevatore è bravo a trovare la prosa delle macchine. Non ha alcun modo di vedere le idee che ci stanno sotto.

GPT-4, Claude, Gemini: il modello conta?

Meno di quanto vorresti. Turnitin ha addestrato il suo rilevatore sull'output dei modelli linguistici di grandi dimensioni come categoria, non su un singolo prodotto, e ogni grande modello di chat condivide la stessa abitudine di fondo: prevedere la parola successiva più probabile. L'output predefinito di GPT-4o, Claude e Gemini porta la stessa impronta fluida e uniforme, e i test mostrano costantemente che Turnitin segnala tutti e tre ad alti tassi quando il testo non è modificato.

Due sfumature sono reali. I modelli più recenti sono marginalmente meno prevedibili del testo GPT-3.5 su cui il rilevatore era stato originariamente tarato, quindi i tassi di rilevamento sui modelli di frontiera possono calare leggermente finché Turnitin non riaddestra, cosa che fa regolarmente. E i trucchi di prompting come "scrivi come un umano" o "aggiungi burstiness" cambiano lo stile superficiale molto meno di quanto si pensi, perché sotto il costume il modello sta ancora scegliendo parole ad alta probabilità. Cambiare chatbot non è una strategia contro il rilevamento.

Come vengono davvero scoperti gli studenti

Un punteggio IA alto da solo raramente affonda qualcuno. I casi reali si costruiscono su una catena di prove, e l'indicatore è solo il primo anello. Lo schema descritto dai docenti è costante: una percentuale alta, più un documento senza cronologia delle versioni, più una scrittura notevolmente più rifinita o più generica dei lavori precedenti dello studente, più problemi di contenuto come argomentazioni vaghe o citazioni inesistenti.

Quest'ultimo punto merita enfasi. I riferimenti bibliografici inventati sono l'elemento più schiacciante in assoluto nei casi di illecito legati all'IA, perché non possono essere spiegati con lo stile di scrittura. Un punteggio di un rilevatore si può contestare; un articolo citato che non è mai stato pubblicato no. Se usi strumenti di IA, in qualsiasi forma consentita, verifica ogni fonte a mano, conserva le tue bozze e scrivi con una voce coerente con il resto del tuo lavoro. Gli studenti che vengono scoperti non lo sono quasi mai per la sola percentuale.

Cosa fare se vieni accusato ingiustamente

I falsi positivi succedono, e Turnitin lo ammette. La ricerca ha anche mostrato che i rilevatori di IA, come categoria, segnalano chi scrive in inglese senza essere madrelingua a tassi più alti, probabilmente perché un inglese attento e appreso tende a essere più uniforme e prevedibile, esattamente le qualità che i rilevatori leggono come tipiche delle macchine. Se hai scritto il tuo elaborato onestamente e sei stato segnalato, hai una posizione difendibile, quindi niente panico e non confessare qualcosa che non hai fatto.

Costruisci il tuo fascicolo di prove prima del colloquio. La cronologia delle versioni di Google Docs o Word è l'elemento più forte che hai, perché mostra il saggio crescere frase dopo frase nel corso delle ore. Aggiungi appunti, scalette, cronologia delle ricerche nel browser e lavori precedenti già valutati che mostrano il tuo stile. Chiedi di vedere il report vero e proprio, e cita le avvertenze pubblicate dalla stessa Turnitin: l'asterisco sui punteggi bassi, il tasso di falsi positivi a livello di frase e la dichiarazione esplicita dell'azienda secondo cui l'indicatore non dovrebbe essere usato come prova unica. La maggior parte delle istituzioni ha una procedura di ricorso. Usala con calma e per iscritto.

Controlla il tuo lavoro prima di consegnarlo

Ecco la frustrazione pratica: gli studenti non possono vedere il punteggio IA di Turnitin prima di consegnare, quindi la prima volta che scopri che c'è un problema è spesso il momento peggiore possibile. La soluzione è testare prima la tua bozza con rilevatori indipendenti. Non sono identici a Turnitin, ma misurano gli stessi segnali statistici, e una bozza che risulta pulita su più rilevatori difficilmente farà accendere l'indicatore.

È esattamente ciò per cui è costruito Humanize AI. Incolla il tuo testo, o carica un file PDF o DOCX, e ottieni un punteggio di probabilità IA in tempo reale da due rilevatori indipendenti prima di cambiare qualsiasi cosa, poi un punteggio aggiornato dopo l'umanizzazione, in una qualsiasi di 40 lingue, senza registrazione e senza limiti di parole. Se il tuo punteggio è più alto del previsto, la nostra guida su come aggirare il rilevamento IA di Turnitin spiega come abbassarlo onestamente, con la tua voce a fare la maggior parte del lavoro.

Domande frequenti