Czy Turnitin wykrywa ChatGPT? Szczera odpowiedź

Bezpośrednia odpowiedź: tak, ale z ważnymi zastrzeżeniami

Turnitin od kwietnia 2023 roku dołącza do swoich raportów podobieństwa wskaźnik pisania AI, stworzony specjalnie po to, by rozpoznawać tekst z dużych modeli językowych takich jak ChatGPT. Jeśli wkleisz odpowiedź ChatGPT prosto do eseju i go prześlesz, istnieje bardzo duża szansa, że Turnitin oznaczy większość tekstu. Ta część nie podlega dyskusji.

Zastrzeżenia są jednak równie ważne. Wskaźnik to szacunek statystyczny, nie dowód. Działa tylko na pracach spełniających minimalne wymagania, obecnie co najmniej 300 słów prozy. Jest mniej wiarygodny na dokumentach mieszających tekst ludzki i AI, ma udokumentowany problem z fałszywymi alarmami na poziomie zdań, a sam Turnitin mówi wykładowcom, że wynik nigdy nie powinien być jedyną podstawą decyzji o naruszeniu uczciwości akademickiej. Czy więc Turnitin potrafi wykryć AI? Tak. Czy potrafi udowodnić, że z niej korzystano? Nie, i to właśnie w tej luce rozstrzyga się każda prawdziwa sprawa.

Jak działa wskaźnik pisania AI w Turnitin

Turnitin nie porównuje Twojego eseju z bazą odpowiedzi ChatGPT. Zamiast tego dzieli dokument na nakładające się segmenty po kilkaset słów, a następnie ocenia każde zdanie pod kątem tego, jak bardzo jest statystycznie przewidywalne. Modele językowe piszą, wybierając za każdym razem najbardziej prawdopodobne kolejne słowo, co daje niezwykle gładki, równy tekst o niskim poziomie zaskoczenia. Ludzkie pisanie jest bardziej chaotyczne: długości zdań się różnią, dobór słów bywa nietypowy, a rytm wznosi się i opada.

Dwa sygnały, które napędzają większość tych ocen, to perplexity, czyli to, jak przewidywalny jest Twój dobór słów, oraz burstiness, czyli to, jak bardzo zmienia się struktura Twoich zdań. Jeśli fragment jest konsekwentnie gładki i konsekwentnie równy, model oznacza jego zdania jako prawdopodobnie napisane przez AI. Mechanikę omawiamy głębiej w naszym przewodniku o tym, jak działają detektory AI, ale kluczowa myśl jest prosta: Turnitin wykrywa statystyczny odcisk palca maszynowego pisania, a nie treści konkretnego chatbota.

Co naprawdę oznacza wynik procentowy

Liczba, którą widzą wykładowcy, to odsetek kwalifikujących się zdań w dokumencie, które według modelu zostały wygenerowane przez AI. Wynik 40% nie oznacza, że Turnitin jest w 40% pewny, że oszukiwałeś. Oznacza, że mniej więcej 40% zdań Twojej prozy wyglądało dla modelu na napisane maszynowo. To zupełnie różne twierdzenia, a ich mylenie to najczęstszy błąd podczas rozmów dyscyplinarnych.

Warto znać dwa szczegóły. Po pierwsze, Turnitin wyświetla wyniki między 1% a 19% z gwiazdką, ponieważ jego własne badania wykazały, że niskie wyniki częściej zawierają fałszywe alarmy, a niektóre uczelnie konfigurują raporty tak, by całkowicie ukrywać ten przedział. Po drugie, wskaźnik ignoruje tekst, który się nie kwalifikuje, na przykład listy punktowane, kod, tabele i bardzo krótkie zdania, więc procent opisuje tylko część dokumentu.

Jak dokładne jest wykrywanie AI w Turnitin?

Turnitin oficjalnie twierdzi, że wskaźnik identyfikuje pisanie AI z dokładnością około 98%, utrzymując odsetek fałszywych alarmów na poziomie dokumentu poniżej 1% dla prac, w których ponad 20% tekstu wygenerowała AI. Te liczby pochodzą z własnych testów laboratoryjnych Turnitin i opisują konkretny scenariusz: w dużej mierze nieedytowany tekst AI w angielskiej prozie.

Niezależna weryfikacja była mniej pochlebna. Krótko po premierze Turnitin przyznał, że fałszywe alarmy na poziomie zdań były wyższe niż oczekiwano, bliżej 4% w dokumentach mieszających pisanie ludzkie i AI. Dziennikarze testujący narzędzie w 2023 roku stwierdzili, że potyka się ono na esejach hybrydowych, przeoczając fragmenty AI i oznaczając ludzkie. A w sierpniu 2023 roku Uniwersytet Vanderbilta publicznie wyłączył tę funkcję, argumentując, że ryzyko fałszywych alarmów jest zbyt wysokie, by na nich polegać. Uczciwe podsumowanie dokładności wykrywania AI w Turnitin: mocna na czystym, nieedytowanym tekście z ChatGPT, wyraźnie słabsza na wszystkim pomiędzy.

Co tak naprawdę widzi Twój wykładowca

Studenci zazwyczaj w ogóle nie widzą wyniku AI. Wskaźnik pojawia się w widoku raportu podobieństwa po stronie wykładowcy jako mała plakietka z procentem, oddzielona od wyniku plagiatu. Kliknięcie otwiera raport, w którym oznaczone zdania są podświetlone: jednym kolorem tekst uznany za wygenerowany przez AI, a innym tekst uznany za wygenerowany przez AI i następnie sparafrazowany narzędziem.

To, co wykładowcy robią z tym ekranem, bywa bardzo różne. Wytyczne samego Turnitin każą traktować wynik jako sygnał do rozpoczęcia rozmowy, nie jako werdykt, i wiele uczelni wpisało tę ostrożność do swoich regulaminów. W praktyce wynik 15% przy skądinąd mocnej pracy jest często ignorowany, podczas gdy wynik 80% uruchamia dokładniejsze przyjrzenie się historii szkiców, cytowaniom i temu, jak esej wypada na tle wcześniejszych tekstów studenta. Liczba otwiera sprawę; człowiek ją zamyka.

Czy Turnitin wykrywa tekst sparafrazowany lub zhumanizowany?

Czasami, i to tutaj toczy się wyścig zbrojeń. W 2024 roku Turnitin dodał wykrywanie parafrazowania AI, czyli warstwę wytrenowaną do rozpoznawania tekstu wygenerowanego przez LLM, a następnie przepuszczonego przez narzędzie do parafrazowania. Tanie parafrazowanie, czyli podmiana synonimów przy zachowaniu oryginalnej struktury zdań, to dokładnie to, co ta warstwa wyłapuje, bo statystyczny szkielet maszynowego tekstu przeżywa zmianę słów.

Głębsze przepisanie to inna historia. Kiedy struktura zdań, rytm i frazowanie zostają naprawdę przebudowane, odcisk palca, na którym opiera się detektor, blednie. Na tym polega różnica między przejściem tekstu tezaurusem a prawdziwą humanizacją, i właśnie dlatego poważny darmowy humanizator AI pokazuje wyniki wykrywania przed i po, zamiast prosić, byś uwierzył na słowo. Sprawdzenie przepisanego tekstu w prawdziwych detektorach to jedyny uczciwy sposób, by wiedzieć, czy transformacja zadziałała.

Czy wyłapuje tekst AI, który sam zredagowałeś?

Lekko zredagowany tekst AI zwykle nadal zostaje oznaczony. Zmiana garści słów, usunięcie wstępu albo przestawienie dwóch akapitów nie zmienia statystyk na poziomie zdań, które mierzy detektor, więc większość dokumentu wciąż czyta się jak maszynowe pisanie. Studentów regularnie to zaskakuje: piętnaście minut szlifowania wydaje się prawdziwą pracą, ale ledwo rusza wynik.

Mocno przepisany tekst jest znacznie trudniejszy do wyłapania, i Turnitin sam to przyznaje. Jego dokumentacja odnotowuje, że wiarygodność spada na dokumentach o mieszanym autorstwie, i właśnie dlatego istnieje gwiazdka przy niskich wynikach. Jeśli użyłeś ChatGPT do konspektu albo wstępnego szkicu, a potem przepisałeś każde zdanie własnym głosem, z własnymi przykładami i własnymi przejściami, końcowy tekst jest w świetle każdej miary statystycznej w dużej mierze Twój. Detektor jest dobry w znajdowaniu maszynowej prozy. Nie ma żadnej możliwości, by zobaczyć idee pod jej powierzchnią.

GPT-4, Claude, Gemini: czy model ma znaczenie?

Mniejsze, niż byś chciał. Turnitin wytrenował swój detektor na tekstach dużych modeli językowych jako kategorii, nie na jednym produkcie, a każdy większy model czatowy dzieli ten sam podstawowy nawyk: przewidywanie najbardziej prawdopodobnego kolejnego słowa. Domyślne odpowiedzi GPT-4o, Claude i Gemini noszą ten sam gładki, równy odcisk palca, a testy konsekwentnie pokazują, że Turnitin oznacza całą trójkę z wysoką skutecznością, gdy tekst jest nieedytowany.

Dwa niuanse są prawdziwe. Nowsze modele są odrobinę mniej przewidywalne niż tekst GPT-3.5, na którym detektor był pierwotnie strojony, więc wykrywalność najnowszych modeli może lekko spadać, dopóki Turnitin nie przeprowadzi kolejnego treningu, co robi regularnie. A sztuczki w promptach typu "pisz jak człowiek" albo "dodaj burstiness" zmieniają powierzchowny styl znacznie słabiej, niż ludzie sądzą, bo model pod kostiumem wciąż wybiera słowa o wysokim prawdopodobieństwie. Zmiana chatbota nie jest strategią przeciwko wykrywaniu.

Jak studenci naprawdę wpadają

Sam wysoki wynik AI rzadko kogokolwiek pogrąża. Prawdziwe sprawy buduje się z łańcucha dowodów, a wskaźnik jest tylko pierwszym ogniwem. Wzorzec opisywany przez wykładowców jest spójny: wysoki procent, plus dokument bez historii wersji, plus tekst zauważalnie bardziej dopracowany lub bardziej ogólnikowy niż wcześniejsze prace studenta, plus problemy merytoryczne, takie jak mgliste argumenty albo cytowania, które nie istnieją.

To ostatnie zasługuje na podkreślenie. Sfabrykowane źródła to najbardziej obciążający artefakt w sprawach o nieuczciwe użycie AI, bo nie da się ich wytłumaczyć stylem pisania. Z wynikiem detektora można dyskutować; z cytowanym artykułem, który nigdy nie został opublikowany, nie. Jeśli w ogóle korzystasz z narzędzi AI, w jakimkolwiek dozwolonym zakresie, weryfikuj każde źródło ręcznie, zachowuj szkice i pisz głosem spójnym z resztą swoich prac. Studenci, którzy wpadają, prawie nigdy nie wpadają przez sam procent.

Co robić w razie niesłusznego oskarżenia

Fałszywe alarmy się zdarzają, i Turnitin to przyznaje. Badania wykazały też, że detektory AI jako klasa narzędzi częściej oznaczają osoby piszące po angielsku jako w języku obcym, prawdopodobnie dlatego, że staranna, wyuczona angielszczyzna bywa bardziej jednolita i przewidywalna, czyli dokładnie taka, jaką detektory odczytują jako maszynową. Jeśli napisałeś pracę uczciwie i zostałeś oznaczony, masz pozycję do obrony, więc nie panikuj i nie przyznawaj się do czegoś, czego nie zrobiłeś.

Zbuduj teczkę dowodów przed spotkaniem. Historia wersji z Google Docs lub Worda to najsilniejszy artefakt, jaki masz, bo pokazuje esej rosnący zdanie po zdaniu przez wiele godzin. Dodaj notatki, konspekty, historię wyszukiwania źródeł i wcześniejsze ocenione teksty pokazujące Twój styl. Poproś o wgląd w sam raport i wskaż opublikowane zastrzeżenia samego Turnitin: gwiazdkę przy niskich wynikach, odsetek fałszywych alarmów na poziomie zdań oraz wyraźne oświadczenie firmy, że wskaźnik nie powinien być jedynym dowodem. Większość uczelni ma procedurę odwoławczą. Korzystaj z niej spokojnie i na piśmie.

Sprawdź swoją pracę przed oddaniem

Oto praktyczna frustracja: studenci nie widzą wyniku AI Turnitin przed przesłaniem pracy, więc o problemie często dowiadujesz się w najgorszym możliwym momencie. Obejściem jest wcześniejsze przetestowanie szkicu w niezależnych detektorach. Nie są identyczne z Turnitin, ale mierzą te same sygnały statystyczne, a szkic, który wypada czysto w kilku detektorach, raczej nie zapali wskaźnika.

Dokładnie do tego zbudowany jest Humanize AI. Wklej tekst albo wgraj plik PDF lub DOCX, a otrzymasz na żywo wynik prawdopodobieństwa AI z dwóch niezależnych detektorów, zanim cokolwiek zmienisz, a potem świeży wynik po humanizacji, w dowolnym z 40 języków, bez rejestracji i bez limitów słów. Jeśli Twój wynik jest wyższy niż oczekiwany, nasz poradnik o tym, jak obejść wykrywanie AI w Turnitin, pokazuje krok po kroku, jak uczciwie go obniżyć, przy czym większość pracy wykonuje Twój własny głos.

Najczęściej zadawane pytania