Klient wkleił Twój tekst do detektora AI i chce wyjaśnień. Co ta liczba mierzy, a czego nie dowodzi

Tekst, który pisałeś trzy dni, wraca od klienta ze zrzutem ekranu: licznik pokazuje 87 proc. „AI-generated”, a pod spodem jest pytanie, czy to na pewno Twoja praca. Albo odwrotnie — to Ty jesteś po stronie zamawiającego i zastanawiasz się, czy kupiony tekst napisał człowiek.

Zanim ktokolwiek odpowie na to pytanie, warto wiedzieć, co ten wynik w ogóle mierzy. Bo nie mierzy tego, że tekst powstał maszynowo — mierzy, jak bardzo jest przewidywalny.

Co właściwie liczy detektor?

Większość publicznie dostępnych detektorów opiera się na perplexity, czyli mierze tego, jak bardzo kolejne słowo zaskakuje model językowy. Tekst, w którym słowa układają się w typowe, często spotykane sekwencje, ma niską perplexity i dostaje wysoki wynik „AI”. Tekst nierówny, z rzadkim słownictwem i nietypową składnią — wysoką perplexity i wynik „człowiek”.

To rozróżnienie nie jest tym samym co autorstwo. Model nie ma dostępu do historii powstawania dokumentu, nie zna autora i nie widzi żadnego śladu procesu. Widzi wyłącznie prawdopodobieństwo słów w gotowym tekście. Jeśli więc ktoś pisze prosto, schematycznie, zgodnie z szablonem branżowym albo w języku, którego nie zna biegle, dostaje wynik typowy dla tekstu maszynowego — i nie ma w tym żadnej pomyłki technicznej. Narzędzie działa dokładnie tak, jak zostało zbudowane.

Stąd bierze się też rozrzut wyników między narzędziami na tym samym dokumencie. Każdy detektor ma inny model odniesienia, inny próg i inną kalibrację, więc ten sam tekst dostaje u jednego dostawcy 20 proc., a u drugiego 80 proc. — i żaden z tych wyników nie jest „dokładniejszy”, bo mierzą to samo, tylko inną linijką.

Osobna pułapka dotyczy tekstów, które z natury są szablonowe. Opisy produktów, regulaminy, instrukcje, oferty handlowe i dokumentacja techniczna mają niską perplexity, bo mają ją mieć: powtarzalna składnia i przewidywalne słownictwo są w nich zaletą. Tekst użytkowy napisany poprawnie przez człowieka startuje więc w tym pomiarze z gorszej pozycji niż swobodny felieton.

Warto też wiedzieć, jak czytać samą liczbę. GPTZero tłumaczy swój wynik tak: „90 proc. oznacza, że w 90 proc. przypadków przy podobnych dokumentach nasz detektor ma rację”. To jest wiarygodność klasyfikatora na zbiorze podobnych tekstów, a nie prawdopodobieństwo, że ten konkretny dokument powstał maszynowo. Potoczne odczytanie „w 87 proc. napisane przez AI” jest po prostu błędne.

Jak często detektor myli się na tekście napisanym przez człowieka?

Najczęściej cytowane badanie tej kwestii pochodzi z Uniwersytetu Stanforda. Zespół sprawdził siedem powszechnie używanych detektorów na 91 esejach egzaminu TOEFL napisanych przez ludzi i na 88 wypracowaniach amerykańskich ósmoklasistów. Wypracowania uczniów z USA detektory oceniły niemal bezbłędnie. Eseje TOEFL — nie.

Średni odsetek fałszywych alarmów na esejach TOEFL wyniósł 61,22 proc., 18 z 91 prac (19,78 proc.) zostało uznane za maszynowe jednomyślnie przez wszystkie siedem detektorów, a 89 z 91 (97,80 proc.) zostało tak oznaczone przez co najmniej jeden z nich. Mowa o tekstach, o których wiadomo, że napisali je ludzie, i to przed premierą ChatGPT.

Drugi punkt odniesienia dał sam dostawca modeli. Klasyfikator OpenAI wykrywał 26 proc. tekstów maszynowych i mylnie oznaczał jako maszynowe 9 proc. tekstów ludzkich, był nierzetelny poniżej 1000 znaków, a w lipcu 2023 roku został wyłączony z powodu niskiej skuteczności. Firma, która zbudowała model generujący tekst, nie potrafiła zbudować wiarygodnego detektora własnego produktu.

Dlaczego obrywa akurat tekst osoby piszącej w obcym języku?

Mechanizm jest ten sam co wyżej: ograniczone słownictwo daje niższą perplexity. Autorzy badania potwierdzili to eksperymentem w obie strony. Po wzbogaceniu słownictwa esejów TOEFL odsetek fałszywych alarmów spadł o 49,45 punktu procentowego, z 61,22 proc. do 11,77 proc., a jednomyślnie oznaczony został już tylko 1 esej z 91. W drugą stronę działa to równie dobrze: uproszczenie słownictwa w wypracowaniach amerykańskich ósmoklasistów podniosło odsetek błędnych oznaczeń z 5,19 proc. do 56,65 proc.

Dla osoby, która pisze po angielsku zawodowo, ale nie jest rodzimym użytkownikiem języka, wniosek jest nieprzyjemnie konkretny: ten sam tekst merytorycznie, napisany prostszym słownictwem, ma kilkukrotnie większą szansę zostać oznaczony. Dotyczy to maili do klientów zagranicznych, opisów produktów, dokumentacji i ofert. Dla tekstów po polsku publicznych badań tej skali po prostu nie ma — co samo w sobie jest argumentem, by nie traktować wyniku detektora jako rozstrzygnięcia.

Jest jeszcze powód, dla którego ostrożność przy polszczyźnie jest większa, nie mniejsza. Detektory trenuje się przede wszystkim na angielskim, a ich skuteczność w innych językach rzadko bywa raportowana osobno. Jeśli dostawca nie podaje wyniku dla języka, w którym piszesz, nie masz żadnej podstawy, by przenieść na ten język deklarowaną dokładność — tak samo jak deklaracja wydajności silnika nie przenosi się automatycznie na inne paliwo.

Czy detektor wykryje tekst, który naprawdę powstał maszynowo?

Tu asymetria robi się dotkliwa. W tym samym badaniu eseje wygenerowane modelem były początkowo wykrywane w 100 proc., ale jednokrotne polecenie przeredagowania ich „bardziej literackim językiem” zbiło wykrywalność do 13 proc.; dla abstraktów naukowych wykrywalność spadła z 68 proc. do 28 proc. Jedna dodatkowa instrukcja, kilkanaście sekund pracy.

Potwierdza to zresztą sam producent detektora. GPTZero zastrzega, że jego klasyfikator nie jest trenowany do rozpoznawania mocno zmodyfikowanego tekstu maszynowego. Oba końce razem: narzędzie z dużym prawdopodobieństwem oznaczy osobę piszącą prosto i własnoręcznie, a z dużym prawdopodobieństwem przepuści kogoś, kto wygenerował tekst i kazał go przepisać. To jest dokładne odwrócenie tego, do czego bywa używane.

Co producenci piszą o swoich wynikach, gdy przeczytać drobny druk?

Deklaracje marketingowe i dokumentacja techniczna tego samego produktu mówią różne rzeczy. GPTZero podaje w swoim FAQ, że 99,1 proc. tekstów ludzkich jest klasyfikowanych jako ludzkie, a 98,4 proc. maszynowych jako maszynowe — ale wyłącznie dla wyników oznaczonych wysoką pewnością (confidence_category: high). Wynik bez tej etykiety nie jest objęty żadną z tych liczb, a to właśnie wyniki niepewne lądują najczęściej w mailu z pytaniem „czy to na pewno Twoje”.

Dalej jest zastrzeżenie, które producent formułuje mocniej niż większość jego użytkowników. Ta sama strona mówi wprost, że wyniki nie powinny służyć do karania uczniów, że żaden detektor nie jest doskonały i że podświetlenia na poziomie zdania nie powinny być jedyną podstawą twierdzenia, iż tekst zawiera treści maszynowe. Zalecane użycie to element całościowej oceny pracy, nie dowód.

Co zrobić, gdy Twój tekst został oznaczony?

Kolejność, która realnie rozwiązuje taką rozmowę:

• Poproś o pełny raport, nie o zrzut ekranu. Interesuje Cię poziom pewności, długość badanego fragmentu i nazwa narzędzia. Wynik z fragmentu krótszego niż kilka akapitów nie znaczy nic nawet według producentów.
• Pokaż proces, nie tekst. Historia wersji dokumentu, notatki, nagrania rozmów, szkice i korespondencja z pytaniami do zamawiającego są jedynym materiałem, który mówi o autorstwie cokolwiek pewnego. Dlatego warto pracować w narzędziu z historią wersji, zanim ktokolwiek zapyta.
• Nie licytuj się drugim detektorem. Narzędzia opierają się na podobnej mierze, więc zgodność dwóch z nich nie jest niezależnym potwierdzeniem — w badaniu Stanforda wszystkie siedem jednomyślnie myliło się na co piątym tekście ludzkim.
• Przenieś rozmowę na treść. Pytania o decyzje w tekście — dlaczego ta struktura, skąd ta liczba, co odrzuciłeś i dlaczego — rozstrzygają szybciej niż jakikolwiek licznik. Ten sam mechanizm działa po stronie rekrutacji, gdzie obrona oddanej pracy w kilkunastominutowej rozmowie zastępuje spory o to, czym została napisana.

Jedna uwaga o dokumentowaniu procesu, bo to jedyny punkt wymagający przygotowania z wyprzedzeniem. Historia wersji ma wartość dowodową tylko wtedy, gdy pokazuje narastanie tekstu, a nie jedno wklejenie gotowej całości. Pisanie w edytorze z automatycznym zapisem wersji, osobny plik z notatkami do każdego zlecenia i zachowana korespondencja z pytaniami do zamawiającego kosztują zero i rozstrzygają rozmowę w pięć minut. Odtworzyć tego po fakcie się nie da.

Jeśli pracujesz na zlecenia, najtańszy moment na ustalenie tych zasad jest przed podpisaniem umowy, nie po oddaniu tekstu. Wystarczy jedno zdanie o tym, co jest podstawą odbioru pracy i czy wynik automatycznego detektora może być powodem odmowy zapłaty — temat, który wraca regularnie w rozmowach wykonawców w społeczności freelancerów prowadzonej przy Geekworku.

Czy używać detektora po stronie zamawiającego?

Jeśli kupujesz teksty, narzędzie ma jedno sensowne zastosowanie: wstępne sito przy dużej liczbie dostaw, po którym następuje rozmowa, a nie decyzja. Do czego się nie nadaje:

• Jako podstawa odmowy zapłaty. Fałszywy alarm na poziomie kilkudziesięciu procent przy tekstach osób piszących w obcym języku jest udokumentowany, a producent odradza takie użycie.
• Jako zabezpieczenie przed kupnem tekstu maszynowego. Jedna komenda przeredagowania obniża wykrywalność kilkukrotnie, więc sito wyłapie tylko najmniej staranne dostawy.
• Jako kryterium w regulaminie. Zapis „tekst musi uzyskać poniżej X proc. w detektorze” premiuje wykonawców, którzy znają sposób obejścia, i karze tych, którzy piszą prosto.

Zamiast progu procentowego działa jedno: zamów fragment próbny, omów go na rozmowie i zapytaj o decyzje. To zajmuje kwadrans i odpowiada na pytanie, którego detektor nie rozstrzyga — czy po drugiej stronie jest ktoś, kto rozumie, co oddał. Jeśli natomiast już masz w umowie zapis o detektorze, zmień go, zanim fałszywy alarm odetnie Cię od wykonawcy, który pisał własnoręcznie.