Jak naprawdę działają detektory AI (i dlaczego Cię oznaczają)

Co tak naprawdę mierzy detektor AI

Detektor AI nie wie, kto napisał zdanie. Nigdy wcześniej nie widział Twojego dokumentu i nie może porównać go z ukrytą bazą odpowiedzi ChatGPT. Zamiast tego ocenia, jak przewidywalny jest Twój tekst w porównaniu z wzorcami, które zwykle produkują duże modele językowe.

Współczesne detektory same są modelami uczenia maszynowego, wytrenowanymi na milionach ludzkich i maszynowych fragmentów. Szukają statystycznych odcisków palca, które zostawia po sobie generowanie, a następnie zwracają prawdopodobieństwo. Nic w tym procesie nie weryfikuje autorstwa. Detektor nie widzi Twojej historii przeglądarki ani nie patrzy, jak piszesz; może jedynie stwierdzić, że Twój tekst przypomina, lub nie przypomina, maszynowe pisanie, na którym go wytrenowano.

Pomyśl o tym jak o filtrze antyspamowym. Nauczył się, jak zwykle wygląda niechciana poczta, więc oznacza wiadomości o podobnych cechach, ale nigdy nie może być pewny żadnego pojedynczego e-maila. Wykrywanie AI działa tak samo, co oznacza, że każdy wynik to przeczucie przebrane za liczbę. To zmienia też sposób, w jaki należy czytać rezultat: "85% AI" nie znaczy, że 85% Twojego tekstu napisała maszyna. Znaczy, że detektor jest dość pewny swojego zgadywania.

Perplexity: jak zaskakujące są Twoje słowa

Perplexity to najważniejszy pojedynczy sygnał. Mierzy, jak bardzo model językowy jest zaskoczony każdym wybranym przez Ciebie słowem. Jeśli każde kolejne słowo jest dokładnie tym, które model by przewidział, perplexity jest niska i tekst wygląda na maszynowy. Ludzie są mniej przewidywalni: sięgamy po dziwny przymiotnik, łamiemy jakąś regułę albo formułujemy coś odrobinę niezgrabnie, a każdy z tych wyborów podnosi perplexity.

Konkretna para zdań dobrze to pokazuje. Zdanie pierwsze: "Regularne ćwiczenia są ważne, ponieważ poprawiają zdrowie fizyczne i psychiczne." Zdanie drugie: "Ćwiczę dalej, bo kolana mniej marudzą, a skrzynka mailowa robi się potem mniej przerażająca." Oba są gramatyczne i oba mówią w gruncie rzeczy to samo, ale pierwsze jest złożone wyłącznie ze słów, które model językowy oceniłby jako najbardziej prawdopodobny kolejny wybór; "regularne ćwiczenia są ważne, ponieważ" to praktycznie szablon. Drugie podejmuje małe ryzyka: kolana, które marudzą, skrzynka, która przeraża. Model oceniający prawdopodobieństwo słowo po słowie uznaje pierwsze zdanie za niezaskakujące, a drugie za naprawdę trudne do przewidzenia, więc pierwsze czyta się jako AI, a drugie jako ludzkie.

Dlatego też dopracowane, ogólnikowe pisanie bywa oznaczane, nawet gdy każde słowo napisał człowiek. Perplexity nie mierzy wysiłku ani uczciwości, tylko przewidywalność, a część całkowicie ludzkiego pisania jest bardzo przewidywalna.

Burstiness: rytm prawdziwego pisania

Burstiness mierzy zróżnicowanie struktury i długości zdań. Ludzie piszą zrywami: długie, kręte zdanie, po nim krótkie. Trzy słowa. A potem złożona konstrukcja pełna szczegółów, która ciągnie się dłużej, niż pewnie powinna.

Tekst AI jest gładszy. Pozostawiony na ustawieniach domyślnych model produkuje zdania oscylujące wokół tej samej długości, otwierane podobnymi konstrukcjami i lądujące z tą samą równą kadencją, akapit za akapitem. Postaw oba teksty obok siebie, a różnicę często zobaczysz, zanim przeczytasz choć słowo: ludzki tekst wygląda na stronie na postrzępiony, maszynowy jak równy mur z cegieł.

Detektory kwantyfikują tę postrzępioność. Niska burstiness plus niska perplexity to klasyczna sygnatura AI, a gdy obie występują naraz, detektor nabiera pewności, że tekst został wygenerowany, nawet jeśli temat i gramatyka są bez zarzutu. Każdy z tych sygnałów osobno jest jednak słaby. Poeta pisze z dziką burstiness, a prawnik od umów niemal bez niej, i obaj są ludźmi, dlatego poważne narzędzia zawsze łączą oba sygnały.

Prawdopodobieństwo tokenów pod maską

Modele językowe piszą token po tokenie, a każdy token ma swój wynik prawdopodobieństwa. Detektory przybliżają te prawdopodobieństwa i sprawdzają, czy Twój tekst mieści się w "strefie komfortu" prawdopodobnych wyborów modelu. Kiedy fragment jest zbudowany niemal wyłącznie z wysoce prawdopodobnych tokenów ułożonych w równym rytmie, pasuje do tego, jak domyślnie generują ChatGPT, Gemini i Claude, a detektor zamienia ten wzorzec w procent, który widzisz na ekranie.

To wyjaśnia też, dlaczego testowanie krótkich fragmentów jest niewiarygodne. Przy jednym czy dwóch zdaniach nie ma dość sygnału, by odróżnić starannego człowieka od modelu, więc wyniki skaczą jak szalone. Większość dostawców po cichu się z tym zgadza: kilku odmawia oceniania czegokolwiek poniżej kilkuset słów, bo poniżej tej długości matematyka jest bliższa rzutowi monetą niż pomiarowi.

Detektory statystyczne kontra detektory oparte na klasyfikatorach

Narzędzia wykrywające dzielą się na dwie rodziny, a wiedza o tym, z którą masz do czynienia, wyjaśnia wiele dziwnych wyników. Detektory statystyczne używają referencyjnego modelu językowego do bezpośredniego liczenia prawdopodobieństw: przepuszczają Twój tekst przez model, mierzą perplexity, burstiness i pokrewne wielkości, a potem stosują próg. Tak działają metody badawcze takie jak GLTR i DetectGPT, i tak działa punktacja stojąca za wieloma darmowymi testerami. Ich siłą jest to, że nie potrzebują oznakowanych danych treningowych; słabością to, że werdykt mocno zależy od tego, który model referencyjny wykonuje ocenę.

Detektory oparte na klasyfikatorach są natomiast trenowane. Dostawca zbiera wielkie korpusy potwierdzonego tekstu ludzkiego i potwierdzonego tekstu AI, a następnie dostraja model, często transformer w stylu RoBERTa, by odróżniał jedno od drugiego. Tak zbudowane są Turnitin, Originality.ai i Copyleaks. Klasyfikatory wychwytują subtelne wskazówki wykraczające poza surową perplexity, więc bywają dokładniejsze na tekstach przypominających ich dane treningowe, ale słabną na pisaniu z nowszych modeli, w innych językach albo w dziedzinach, których nigdy nie widziały, a nikt spoza firmy nie może sprawdzić, czego naprawdę się nauczyły.

Większość produktów komercyjnych to dziś hybrydy obu podejść, co jest jednym z powodów, dla których ich wyniki trudno interpretować, a jeszcze trudniej porównywać między narzędziami.

Dlaczego tekst z ChatGPT, Gemini i Claude jest oznaczany

Najnowsze modele są trenowane, by pisać jasno, bezpiecznie i płynnie, a ostatnia runda tego treningu nagradza odpowiedzi, które większość oceniających uznaje za dobrze napisane. To popycha tekst w stronę wyważonych zdań, schludnych przejść typu "ponadto" i "podsumowując" oraz słownictwa trzymającego się statystycznego środka drogi.

Te same cechy to dokładnie to, na co polują detektory. Im bardziej dopracowany i "przeciętny" tekst, tym niższe jego perplexity i burstiness, i tym wyższy wynik AI. Jak na ironię, surowe ludzkie szkice pełne literówek i dziwactw często przechodzą łatwiej niż czysty pierwszy szkic AI, bo to właśnie niedoskonałości niosą ludzki sygnał.

Co naprawdę sprawdzają GPTZero, Turnitin, ZeroGPT i inne

Główne narzędzia dzielą tę samą logikę bazową, ale różnie ją stroją. GPTZero spopularyzował ocenę perplexity i burstiness i raportuje obie na poziomie zdań. Turnitin AI integruje wykrywanie ze swoim pakietem antyplagiatowym dla szkół, dzieląc dokumenty na nakładające się segmenty i oznaczając te, które jego klasyfikator uznaje za napisane przez model.

ZeroGPT oferuje szybki, darmowy odczyt zdanie po zdaniu, a Originality.ai celuje w wydawców i zespoły SEO surowym, ważonym pewnością wynikiem. Copyleaks stawia na obsługę wielu języków i raportowanie klasy korporacyjnej. Wszystkie są probabilistyczne, dlatego żadne nie może uczciwie twierdzić, że jest doskonałe, i dlatego marketing dokładności każdego dostawcy po cichu opisuje testy, które ten dostawca sam zaprojektował.

Dlaczego detektory nie zgadzają się ze sobą

Wklej ten sam esej do trzech detektorów, a możesz dostać 2% AI z jednego, 45% z drugiego i 88% z trzeciego. Ten rozrzut nie jest błędem żadnego z nich; tak po prostu wygląda sytuacja, w której różne systemy zgadują różnie na podstawie tych samych dowodów.

Każde narzędzie jest trenowane na własnym korpusie, ocenia własnym modelem referencyjnym, inaczej dzieli tekst (cały dokument kontra zdanie po zdaniu) i ustawia własny próg tego, co uznaje za "prawdopodobnie AI". Narzędzie skalibrowane tak, by unikać fałszywych oskarżeń, będzie zachowawcze i będzie oznaczać za mało; narzędzie sprzedawane jako łapacz oszustów będzie agresywne i będzie nadmiernie oznaczać ten sam tekst. Aktualizują się też w różnych terminach, więc detektor dostrojony przed premierą nowego modelu będzie przez wiele miesięcy błędnie oceniał jego styl.

Praktyczna lekcja: żaden pojedynczy wynik nie jest rozstrzygający, a rozbieżność między narzędziami to bezpośredni dowód na skalę zgadywania. Jeśli Twoja uczelnia sprawdza Turnitinem, liczy się tylko werdykt Turnitin, a czysty wynik gdziekolwiek indziej ani go nie przewiduje, ani przed nim nie chroni.

Fałszywe alarmy: opublikowane liczby

Ponieważ detektory oceniają przewidywalność, regularnie się mylą, a pomyłki nie są hipotetyczne. Własny klasyfikator OpenAI, uruchomiony w styczniu 2023 roku, rozpoznał tylko 26% tekstu napisanego przez AI, jednocześnie błędnie oznaczając 9% ludzkiego tekstu jako AI, i firma wycofała go w ciągu sześciu miesięcy z powodu niskiej dokładności. Turnitin deklaruje odsetek fałszywych alarmów na poziomie dokumentu poniżej 1%, ale przyznał, że pojedyncze oznaczone zdania są znacznie mniej wiarygodne, dlatego wstrzymuje wyniki dla dokumentów z jedynie niewielką ilością podejrzewanego tekstu AI.

Najbardziej niepokojące odkrycie dotyczy osób, dla których angielski nie jest językiem ojczystym. Badacze ze Stanforda przetestowali siedem popularnych detektorów na esejach napisanych przez prawdziwych studentów na egzamin TOEFL i stwierdzili, że średnio 61% tych ludzkich esejów zostało oznaczonych jako wygenerowane przez AI, a niemal wszystkie oznaczył przynajmniej jeden detektor. Eseje rodzimych użytkowników języka z USA przechodziły przez te same narzędzia niemal nietknięte.

Mechanizm jest dokładnie taki, jak opisuje ten artykuł: osoby piszące w drugim języku sięgają po bezpieczniejsze słownictwo i bardziej regularne struktury zdań, co obniża perplexity, a to czyta się jako tekst maszynowy. Stronniczość jest wbudowana w samą metodę. Dlatego odpowiedzialne szkoły traktują wynik detektora jako początek rozmowy, a nie dowód. Liczba nie jest dowodem.

Znak wodny: rozwiązanie, które nie weszło do użytku

Badacze od dawna przekonują, że prawdziwym rozwiązaniem jest znak wodny: sprawienie, by sam model AI osadzał niewidzialną statystyczną sygnaturę już w momencie generowania. W najbardziej znanym schemacie model podczas pisania po cichu faworyzuje rotacyjną "zieloną listę" tokenów. Czytelnik nie zauważy wzorca, ale detektor posiadający klucz może go sprawdzić ze znacznie lepszą dokładnością niż zgadywanie na podstawie perplexity.

W większości to jednak nie weszło do użytku. OpenAI zbudowało tekstowy znak wodny, wewnętrznie raportowany jako skuteczny w około 99,9% na długich fragmentach, i trzyma go w szufladzie, powołując się na obawy, że parafraza lub tłumaczenie usuwa znak, że mógłby stygmatyzować osoby nierodzime językowo, które legalnie używają AI do szlifowania tekstu, oraz, mniej szlachetnie, że użytkownicy po prostu przenieśliby się do narzędzi bez znaku wodnego. Wyjątkiem jest SynthID-Text od Google, działający w Gemini i wydany jako open source, ale znakuje on wyłącznie tekst samego Gemini.

Na tym polega sedno problemu: znak wodny obejmuje tylko modele, których twórcy współpracują, a modele o otwartych wagach, które każdy może uruchomić lokalnie, nigdy go nie będą nosić. Detektor, którego dziś używa Twoja szkoła czy pracodawca, wciąż więc uprawia statystykę, a nie odczytuje znaki wodne, ze wszystkimi niepewnościami, jakie z tego wynikają.

Jak detektory radzą sobie z mieszanym tekstem ludzko-maszynowym

Prawdziwe dokumenty rzadko są jednorodne. Student pisze wstęp ręcznie, prosi ChatGPT o rozwinięcie dwóch akapitów, a potem redaguje całość. Detektory radzą sobie z tym, przesuwając okno po dokumencie, oceniając każde zdanie lub segment osobno i podświetlając fragmenty, które wyglądają na wygenerowane.

Mieszanie osłabia każdy sygnał. Ludzkie poprawki wewnątrz akapitu AI podnoszą jego perplexity; zdania AI wewnątrz ludzkiej sekcji ciągną jej rytm w stronę jednolitości. Rezultatem jest wynik ze środka skali, który może znaczyć "pół na pół z AI" albo "w całości ludzkie, tylko dziwnie napisane", a podświetlenia poszczególnych zdań są zauważalnie mniej wiarygodne niż liczba ogólna. Turnitin na przykład przyznał, że jego oznaczenia na poziomie zdań mają wyższy odsetek błędów niż wynik dokumentu, a przez pewien czas w ogóle odmawiał wyświetlania niskich procentów, bo były tak chwiejne.

Krótko mówiąc: im bardziej wymieszany dokument, tym bardziej rozmyty werdykt, a podświetlone zdania w raporcie zasługują na jeszcze więcej sceptycyzmu niż nagłówkowy procent.

Jak humanizacja obniża wynik

Skoro detektory nagradzają wysoką perplexity i burstiness, rozwiązaniem jest pisać bardziej jak człowiek: różnicować długość zdań, sięgać po mniej przewidywalne słowa, dodawać naturalne przejścia i łamać jednostajny rytm. Robienie tego ręcznie w całym dokumencie jest powolne, i właśnie dlatego istnieje humanizator AI, który przepisuje tekst i automatycznie przywraca tę ludzką zmienność.

Narzędzie takie jak Humanize AI przeformułowuje tekst modelu tak, by odzyskał naturalną burstiness i mniej przewidywalne frazowanie, pomagając mu obejść wykrywanie AI przy zachowaniu Twojego sensu. Co kluczowe, pokazuje wynik przed i po z prawdziwych detektorów, więc mierzysz zmianę, zamiast na nią liczyć. Celem nie jest oszustwo, lecz tekst, który w końcu brzmi jak Ty.

Co to oznacza dla Ciebie w praktyce

Kilka nawyków wynika wprost ze sposobu działania tej technologii. Testuj przed oddaniem, bo zgadywanie wyniku nie ma sensu, skoro sprawdzenie jest darmowe; możesz przepuścić szkic przez darmowy humanizator AI i zobaczyć liczby z detektorów, zanim zrobi to ktokolwiek inny. Nigdy nie ufaj werdyktowi na krótkim fragmencie, a podświetlenia pojedynczych zdań traktuj co najwyżej jako słaby dowód.

Jeśli piszesz uczciwie, zachowuj dowody: wersje szkiców, notatki i historia edycji są znacznie lepszym dowodem autorstwa niż jakikolwiek kontr-wynik, zwłaszcza jeśli piszesz w języku obcym w formalnym rejestrze, którego detektory nie lubią. A jeśli mierzysz się z konkretnym narzędziem, poznaj jego konkretne zachowania; Turnitin ma osobliwości, które warto znać, dlatego napisaliśmy przewodnik po Turnitin jako uzupełnienie tego tekstu.

Przede wszystkim pamiętaj, czym jest detektor. To dopasowywacz wzorców oceniający przewidywalność, zbudowany przez dostawcę, dostrojony do progu i mylący się w obie strony w mierzalnym stopniu. Użyteczny, czasami. Dowód, nigdy.

Najczęściej zadawane pytania