Ανιχνεύει το Turnitin το ChatGPT; Η Ειλικρινής Απάντηση

Η άμεση απάντηση: ναι, με σημαντικές επιφυλάξεις

Το Turnitin περιλαμβάνει έναν δείκτη γραφής AI στις αναφορές ομοιότητάς του από τον Απρίλιο του 2023, και δημιουργήθηκε ειδικά για να εντοπίζει κείμενο από μεγάλα γλωσσικά μοντέλα όπως το ChatGPT. Αν επικολλήσετε μια απάντηση του ChatGPT απευθείας σε μια εργασία και την υποβάλετε, υπάρχει πολύ μεγάλη πιθανότητα το Turnitin να επισημάνει το μεγαλύτερο μέρος της. Αυτό το κομμάτι είναι δεδομένο.

Οι επιφυλάξεις έχουν εξίσου σημασία. Ο δείκτης είναι μια στατιστική εκτίμηση, όχι απόδειξη. Εκτελείται μόνο σε υποβολές που πληρούν ελάχιστες προϋποθέσεις, προς το παρόν τουλάχιστον 300 λέξεις πεζού λόγου. Είναι λιγότερο αξιόπιστος σε μεικτά έγγραφα ανθρώπου και AI, έχει ένα τεκμηριωμένο πρόβλημα ψευδώς θετικών σε επίπεδο πρότασης, και το ίδιο το Turnitin λέει στους διδάσκοντες ότι η βαθμολογία δεν πρέπει ποτέ να είναι η μοναδική βάση για μια απόφαση περί ακαδημαϊκού παραπτώματος. Άρα, μπορεί το Turnitin να ανιχνεύσει AI; Ναι. Μπορεί να αποδείξει ότι το χρησιμοποιήσατε; Όχι, και σε αυτό το κενό κρίνεται κάθε πραγματική υπόθεση.

Πώς λειτουργεί ο δείκτης γραφής AI του Turnitin

Το Turnitin δεν συγκρίνει την εργασία σας με μια βάση δεδομένων αποτελεσμάτων του ChatGPT. Αντ' αυτού, χωρίζει το έγγραφό σας σε επικαλυπτόμενα τμήματα λίγων εκατοντάδων λέξεων, και μετά βαθμολογεί κάθε πρόταση ως προς το πόσο στατιστικά προβλέψιμη είναι. Τα γλωσσικά μοντέλα γράφουν επιλέγοντας επανειλημμένα την πιο πιθανή επόμενη λέξη, κάτι που παράγει ασυνήθιστα ομαλό, ομοιόμορφο κείμενο με χαμηλή έκπληξη. Η ανθρώπινη γραφή είναι πιο ακατάστατη: τα μήκη των προτάσεων ποικίλλουν, οι επιλογές λέξεων είναι περιστασιακά παράξενες, και ο ρυθμός ανεβαίνει και κατεβαίνει.

Τα δύο σήματα που καθορίζουν το μεγαλύτερο μέρος αυτού είναι η αμηχανία (perplexity), δηλαδή το πόσο προβλέψιμες είναι οι επιλογές λέξεων σας, και η διακύμανση (burstiness), δηλαδή το πόσο ποικίλλει η δομή των προτάσεών σας. Αν ένα απόσπασμα είναι σταθερά ομαλό και σταθερά ομοιόμορφο, το μοντέλο σημειώνει τις προτάσεις του ως πιθανό AI. Καλύπτουμε τους μηχανισμούς με μεγαλύτερη λεπτομέρεια στον οδηγό μας για το πώς λειτουργούν οι ανιχνευτές AI, αλλά το βασικό σημείο είναι απλό: το Turnitin ανιχνεύει το στατιστικό αποτύπωμα της μηχανικής γραφής, όχι το περιεχόμενο κάποιου συγκεκριμένου chatbot.

Τι σημαίνει στην πραγματικότητα η ποσοστιαία βαθμολογία

Ο αριθμός που βλέπουν οι διδάσκοντες είναι το ποσοστό των προτάσεων που πληρούν τις προϋποθέσεις στο έγγραφό σας, τις οποίες το μοντέλο πιστεύει ότι δημιουργήθηκαν από AI. Μια βαθμολογία 40% δεν σημαίνει ότι το Turnitin είναι 40% βέβαιο ότι αντιγράψατε. Σημαίνει ότι περίπου το 40% των προτάσεων του πεζού λόγου σας φάνηκαν γραμμένες από μηχανή στο μοντέλο. Αυτοί είναι πολύ διαφορετικοί ισχυρισμοί, και η σύγχυσή τους είναι το πιο συνηθισμένο λάθος στις συναντήσεις για παραπτώματα.

Αξίζει να γνωρίζετε δύο λεπτομέρειες. Πρώτον, το Turnitin εμφανίζει βαθμολογίες μεταξύ 1% και 19% με έναν αστερίσκο, γιατί η ίδια του η έρευνα διαπίστωσε ότι οι χαμηλές βαθμολογίες είναι πιο πιθανό να περιέχουν ψευδώς θετικά, και ορισμένα ιδρύματα ρυθμίζουν τις αναφορές ώστε να αποκρύπτουν εντελώς αυτό το εύρος. Δεύτερον, ο δείκτης αγνοεί κείμενο που δεν πληροί τις προϋποθέσεις, όπως λίστες με κουκκίδες, κώδικα, πίνακες και πολύ σύντομες προτάσεις, οπότε το ποσοστό περιγράφει μόνο μέρος του εγγράφου σας.

Πόσο ακριβής είναι η ανίχνευση AI του Turnitin;

Ο δημοσιευμένος ισχυρισμός του Turnitin είναι ότι ο δείκτης εντοπίζει τη γραφή AI με ακρίβεια περίπου 98%, διατηρώντας παράλληλα το ποσοστό ψευδώς θετικών σε επίπεδο εγγράφου κάτω από 1% για εργασίες όπου περισσότερο από το 20% του κειμένου έχει δημιουργηθεί από AI. Αυτοί οι αριθμοί προέρχονται από τις δικές του εργαστηριακές δοκιμές του Turnitin, και περιγράφουν ένα συγκεκριμένο σενάριο: σε μεγάλο βαθμό ανεπεξέργαστο κείμενο AI σε αγγλικό πεζό λόγο.

Ο ανεξάρτητος έλεγχος υπήρξε λιγότερο κολακευτικός. Λίγο μετά την κυκλοφορία, το Turnitin παραδέχτηκε ότι τα ψευδώς θετικά σε επίπεδο πρότασης ήταν υψηλότερα από το αναμενόμενο, πιο κοντά στο 4% σε έγγραφα με μείγμα ανθρώπινης γραφής και AI. Δημοσιογράφοι που δοκίμασαν το εργαλείο το 2023 διαπίστωσαν ότι σκόνταψε σε υβριδικές εργασίες, χάνοντας αποσπάσματα AI και επισημαίνοντας ανθρώπινα. Και τον Αύγουστο του 2023, το Πανεπιστήμιο Vanderbilt απενεργοποίησε δημόσια το χαρακτηριστικό, υποστηρίζοντας ότι ο κίνδυνος ψευδώς θετικών ήταν πολύ υψηλός για να δράσει κανείς βάσει αυτού. Η δίκαιη σύνοψη της ακρίβειας ανίχνευσης AI του Turnitin: ισχυρή σε καθαρό, ανεπεξέργαστο αποτέλεσμα του ChatGPT, ουσιαστικά ασθενέστερη σε οτιδήποτε ενδιάμεσο.

Τι βλέπει στην πραγματικότητα ο καθηγητής σας

Οι φοιτητές συνήθως δεν μπορούν να δουν καθόλου τη βαθμολογία AI. Ο δείκτης εμφανίζεται στην προβολή του διδάσκοντα στην αναφορά ομοιότητας ως ένα μικρό σήμα ποσοστού, ξεχωριστό από τη βαθμολογία λογοκλοπής. Κάνοντας κλικ πάνω του ανοίγει μια αναφορά όπου οι επισημασμένες προτάσεις τονίζονται, με ένα χρώμα για κείμενο που κρίθηκε ως δημιουργημένο από AI και ένα άλλο για κείμενο που κρίθηκε ως δημιουργημένο από AI και στη συνέχεια παραφρασμένο από κάποιο εργαλείο.

Το τι κάνουν οι διδάσκοντες με αυτή την οθόνη ποικίλλει τεράστια. Η ίδια η καθοδήγηση του Turnitin τους λέει να αντιμετωπίζουν τη βαθμολογία ως σήμα για να ξεκινήσουν μια συζήτηση, όχι ως ετυμηγορία, και πολλά πανεπιστήμια έχουν εντάξει αυτή την προειδοποίηση στην πολιτική τους. Στην πράξη, μια βαθμολογία 15% σε μια κατά τα άλλα ισχυρή εργασία συχνά αγνοείται, ενώ μια βαθμολογία 80% προκαλεί μια πιο προσεκτική ματιά στο ιστορικό των προσχεδίων σας, στις παραπομπές σας και στο πώς συγκρίνεται η εργασία με τα προηγούμενα γραπτά σας. Ο αριθμός ανοίγει τον φάκελο, ένας άνθρωπος τον κλείνει.

Ανιχνεύει το Turnitin παραφρασμένο ή εξανθρωπισμένο κείμενο;

Μερικές φορές, και εδώ βρίσκεται η κούρσα εξοπλισμών. Το 2024 το Turnitin πρόσθεσε ανίχνευση παράφρασης AI, ένα επίπεδο εκπαιδευμένο να εντοπίζει κείμενο που δημιουργήθηκε από ένα LLM και στη συνέχεια πέρασε από ένα εργαλείο παράφρασης. Η φθηνή παράφραση, δηλαδή οι αντικαταστάσεις συνωνύμων που κρατούν ανέπαφη την αρχική δομή της πρότασης, είναι ακριβώς αυτό που πιάνει αυτό το επίπεδο, γιατί ο στατιστικός σκελετός του μηχανικού κειμένου επιβιώνει των αλλαγών λέξεων.

Η βαθύτερη επαναδιατύπωση είναι άλλη ιστορία. Όταν η δομή, ο ρυθμός και η διατύπωση των προτάσεων ξαναχτίζονται πραγματικά, το αποτύπωμα στο οποίο βασίζεται ο ανιχνευτής ξεθωριάζει. Αυτή είναι η διαφορά ανάμεσα σε ένα πέρασμα με θησαυρό συνωνύμων και τον πραγματικό εξανθρωπισμό, και γι' αυτό ένα σοβαρό δωρεάν εργαλείο εξανθρωπισμού AI σας δείχνει βαθμολογίες ανίχνευσης πριν και μετά, αντί να σας ζητάει να δεχτείτε τα αποτελέσματα με πίστη. Η δοκιμή του επαναγραμμένου κειμένου σας απέναντι σε πραγματικούς ανιχνευτές είναι ο μόνος ειλικρινής τρόπος να ξέρετε αν ο μετασχηματισμός λειτούργησε.

Πιάνει κείμενο AI που επεξεργαστήκατε ο ίδιος;

Το ελαφρώς επεξεργασμένο κείμενο AI συνήθως εξακολουθεί να επισημαίνεται. Η αλλαγή μιας χούφτας λέξεων, η διαγραφή μιας εισαγωγής ή η αναδιάταξη δύο παραγράφων δεν αλλάζει τα στατιστικά σε επίπεδο πρότασης που μετράει ο ανιχνευτής, οπότε το μεγαλύτερο μέρος του εγγράφου εξακολουθεί να διαβάζεται ως μηχανική γραφή. Οι φοιτητές τακτικά εκπλήσσονται από αυτό: δεκαπέντε λεπτά καλλωπισμού μοιάζουν με πραγματική δουλειά, αλλά ελάχιστα μετακινούν τη βαθμολογία.

Το κείμενο που έχει ξαναγραφτεί σε μεγάλο βαθμό είναι πολύ πιο δύσκολο να πιαστεί, και το Turnitin το λέει αυτό. Η τεκμηρίωσή του σημειώνει ότι η αξιοπιστία πέφτει σε έγγραφα με μεικτή συγγραφή, κάτι που είναι ακριβώς ο λόγος που υπάρχει ο αστερίσκος για τις χαμηλές βαθμολογίες. Αν χρησιμοποιήσατε το ChatGPT για ένα σχεδιάγραμμα ή ένα πρόχειρο προσχέδιο και στη συνέχεια ξαναγράψατε κάθε πρόταση με τη δική σας φωνή, με τα δικά σας παραδείγματα και τις δικές σας μεταβάσεις, το τελικό κείμενο είναι σε μεγάλο βαθμό δικό σας με οποιοδήποτε στατιστικό μέτρο. Ο ανιχνευτής είναι καλός στο να βρίσκει μηχανικό πεζό λόγο. Δεν έχει κανέναν τρόπο να δει τις ιδέες που κρύβονται από κάτω.

GPT-4, Claude, Gemini: έχει σημασία το μοντέλο;

Λιγότερο απ' όσο θα ελπίζατε. Το Turnitin εκπαίδευσε τον ανιχνευτή του σε αποτελέσματα από μεγάλα γλωσσικά μοντέλα ως κατηγορία, όχι σε ένα προϊόν, και κάθε σημαντικό μοντέλο συνομιλίας μοιράζεται την ίδια υποκείμενη συνήθεια: την πρόβλεψη της πιο πιθανής επόμενης λέξης. Το προεπιλεγμένο αποτέλεσμα των GPT-4o, Claude και Gemini φέρει όλο το ίδιο ομαλό, ομοιόμορφο αποτύπωμα, και οι δοκιμές δείχνουν σταθερά ότι το Turnitin επισημαίνει και τα τρία σε υψηλά ποσοστά όταν το κείμενο είναι ανεπεξέργαστο.

Δύο αποχρώσεις είναι υπαρκτές. Τα νεότερα μοντέλα είναι οριακά λιγότερο προβλέψιμα από το κείμενο GPT-3.5 στο οποίο ρυθμίστηκε αρχικά ο ανιχνευτής, οπότε τα ποσοστά ανίχνευσης στα μοντέλα αιχμής μπορεί να πέσουν ελαφρώς μέχρι το Turnitin να επανεκπαιδεύσει, κάτι που κάνει τακτικά. Και τα κόλπα προτροπής όπως "γράψε σαν άνθρωπος" ή "πρόσθεσε διακύμανση" αλλάζουν το επιφανειακό στυλ πολύ λιγότερο απ' όσο νομίζουν οι άνθρωποι, γιατί το μοντέλο εξακολουθεί να επιλέγει λέξεις υψηλής πιθανότητας κάτω από τη μεταμφίεση. Η αλλαγή chatbot δεν είναι στρατηγική ανίχνευσης.

Πώς επισημαίνονται στην πραγματικότητα οι φοιτητές

Μια υψηλή βαθμολογία AI από μόνη της σπάνια βυθίζει κάποιον. Οι πραγματικές υποθέσεις χτίζονται από μια αλυσίδα αποδείξεων, και ο δείκτης είναι μόνο ο πρώτος κρίκος. Το μοτίβο που περιγράφουν οι διδάσκοντες είναι σταθερό: ένα υψηλό ποσοστό, συν ένα έγγραφο χωρίς ιστορικό εκδόσεων, συν γραφή που είναι αισθητά πιο καλοδουλεμένη ή πιο γενικόλογη από την προηγούμενη δουλειά του φοιτητή, συν προβλήματα περιεχομένου όπως αόριστα επιχειρήματα ή παραπομπές που δεν υπάρχουν.

Αυτό το τελευταίο αξίζει έμφαση. Οι κατασκευασμένες αναφορές είναι το πιο καταδικαστικό στοιχείο σε υποθέσεις παραπτώματος με AI, γιατί δεν μπορούν να εξηγηθούν από το στυλ γραφής. Μια βαθμολογία ανιχνευτή μπορεί να αμφισβητηθεί, μια παραπομπή σε εργασία που δεν δημοσιεύτηκε ποτέ δεν μπορεί. Αν χρησιμοποιείτε καθόλου εργαλεία AI, με οποιαδήποτε επιτρεπόμενη ιδιότητα, επαληθεύστε κάθε πηγή με το χέρι, κρατήστε τα προσχέδιά σας και γράψτε με φωνή συνεπή με την υπόλοιπη δουλειά σας. Οι φοιτητές που πιάνονται σχεδόν ποτέ δεν πιάνονται από το ποσοστό και μόνο.

Τι να κάνετε αν κατηγορηθείτε άδικα

Τα ψευδώς θετικά συμβαίνουν, και το Turnitin το παραδέχεται. Έρευνες έχουν επίσης δείξει ότι οι ανιχνευτές AI ως κατηγορία επισημαίνουν συγγραφείς μη μητρικών αγγλικών σε αυξημένα ποσοστά, πιθανώς επειδή τα προσεκτικά, επίκτητα αγγλικά τείνουν να είναι πιο ομοιόμορφα και προβλέψιμα, ακριβώς τα χαρακτηριστικά που οι ανιχνευτές διαβάζουν ως μηχανικά. Αν γράψατε την εργασία σας ειλικρινά και επισημανθήκατε, έχετε μια θέση που μπορείτε να υπερασπιστείτε, οπότε μην πανικοβάλλεστε και μην ομολογείτε κάτι που δεν κάνατε.

Χτίστε τον φάκελο αποδείξεών σας πριν από τη συνάντηση. Το ιστορικό εκδόσεων από το Google Docs ή το Word είναι το ισχυρότερο στοιχείο που έχετε, γιατί δείχνει την εργασία να μεγαλώνει πρόταση προς πρόταση μέσα σε ώρες. Προσθέστε τις σημειώσεις σας, τα σχεδιαγράμματα, το ιστορικό έρευνας του προγράμματος περιήγησης και παλαιότερα βαθμολογημένα γραπτά που δείχνουν το στυλ σας. Ζητήστε να δείτε την ίδια την αναφορά, και επισημάνετε τις δημοσιευμένες επιφυλάξεις του ίδιου του Turnitin: τον αστερίσκο στις χαμηλές βαθμολογίες, το ποσοστό ψευδώς θετικών σε επίπεδο πρότασης και τη ρητή δήλωση της εταιρείας ότι ο δείκτης δεν πρέπει να χρησιμοποιείται ως μοναδική απόδειξη. Τα περισσότερα ιδρύματα έχουν διαδικασία ένστασης. Χρησιμοποιήστε την ήρεμα και γραπτώς.

Ελέγξτε τη δουλειά σας πριν την υποβάλετε

Να η πρακτική απογοήτευση: οι φοιτητές δεν μπορούν να δουν τη βαθμολογία AI του Turnitin πριν από την υποβολή, οπότε η πρώτη φορά που μαθαίνετε ότι υπάρχει πρόβλημα είναι συχνά η χειρότερη δυνατή στιγμή. Η λύση είναι να δοκιμάσετε πρώτα το προσχέδιό σας απέναντι σε ανεξάρτητους ανιχνευτές. Δεν είναι πανομοιότυποι με το Turnitin, αλλά μετρούν τα ίδια στατιστικά σήματα, και ένα προσχέδιο που βαθμολογείται ως καθαρό σε πολλαπλούς ανιχνευτές είναι πολύ απίθανο να ανάψει τον δείκτη.

Ακριβώς για αυτό είναι φτιαγμένο το Humanize AI. Επικολλήστε το κείμενό σας, ή ανεβάστε ένα αρχείο PDF ή DOCX, και παίρνετε μια ζωντανή βαθμολογία πιθανότητας AI από δύο ανεξάρτητους ανιχνευτές πριν αλλάξετε οτιδήποτε, και μετά μια νέα βαθμολογία μετά τον εξανθρωπισμό, σε οποιαδήποτε από 40 γλώσσες, χωρίς εγγραφή και χωρίς όρια λέξεων. Αν η βαθμολογία σας είναι υψηλότερη από το αναμενόμενο, ο οδηγός μας για το πώς να παρακάμψετε την ανίχνευση AI του Turnitin εξηγεί βήμα βήμα πώς να τη μειώσετε ειλικρινά, με τη δική σας φωνή να κάνει το μεγαλύτερο μέρος της δουλειάς.

Συχνές ερωτήσεις