Detektory treści AI: czy ich wyniki mają jakąkolwiek wartość

Klient przysyła zrzut ekranu: „87% AI” przy tekście, który copywriter pisał sam przez dwa dni. Dzień później ten sam detektor uznaje artykuł wygenerowany w pięć minut za w pełni ludzki. To nie jest wyjątek, tylko typowe zachowanie tej klasy narzędzi. Sprawdzamy, co mówią niezależne badania o skuteczności detektorów treści AI i do czego realnie można je wykorzystać w redakcji, która pracuje na treściach pod SEO.

Od razu zastrzeżenie: nie prowadziliśmy własnego testu porównawczego detektorów na polskich tekstach. Poniżej zbieramy wyniki opublikowanych badań i podajemy protokół, według którego zespół może taki test przeprowadzić samodzielnie.

Jak działają detektory i co właściwie mierzą

Większość komercyjnych detektorów nie „rozpoznaje” modelu, który napisał tekst. Mierzą one statystyczną przewidywalność języka. Kluczowe pojęcia to perpleksja (jak bardzo model językowy jest „zaskoczony” kolejnymi słowami) oraz zmienność tej przewidywalności między zdaniami, nazywana często burstiness. Tekst z niską perpleksją i równym rytmem zdań dostaje wyższy wynik „AI”.

Z tego wynika podstawowy problem. Niska perpleksja nie jest cechą maszyny, tylko cechą prostego, przewidywalnego stylu. Ma ją instrukcja obsługi, opis produktu pisany według szablonu, tekst prawniczy i wypracowanie osoby piszącej w obcym języku ograniczonym słownictwem. Ma ją też poprawnie zredagowany tekst SEO, w którym redaktor usunął powtórzenia i wyrównał akapity. Detektor ocenia więc styl, a nie pochodzenie.

Drugi typ rozwiązań to znaki wodne osadzane przez dostawcę modelu w momencie generowania. To zupełnie inny mechanizm: działa tylko dla tekstów z danego modelu i wymaga dostępu do klucza weryfikacji. Pisaliśmy o tym przy okazji znakowania tekstów ChatGPT w Unii Europejskiej. Zwykły detektor online z takich znaków nie korzysta.

Co pokazały testy na tekstach ludzkich, generowanych i mieszanych

Najpełniejsze niezależne badanie przeprowadził zespół Debory Weber-Wulff i opublikował w 2023 roku w International Journal for Educational Integrity. Badacze sprawdzili 14 narzędzi (w tym Turnitin, GPTZero i detektor OpenAI) na tekstach pisanych przez ludzi, tłumaczonych maszynowo, wygenerowanych przez ChatGPT, a także generowanych i potem poprawianych ręcznie lub parafrazatorem. Wnioski autorów są jednoznaczne: narzędzia nie są ani dokładne, ani wiarygodne. Żadne nie przekroczyło 80% dokładności, a tylko pięć przekroczyło 70%.

Szczegóły są ważniejsze niż średnia:

• teksty pisane w całości przez ludzi rozpoznawano dobrze (łączna dokładność 96%),
• przy tekstach ludzkich napisanych w innym języku i przetłumaczonych maszynowo na angielski dokładność spadała o 20 punktów procentowych,
• po ręcznej redakcji lub parafrazie tekstu wygenerowanego skuteczność wykrywania wyraźnie malała, a 13 z 14 narzędzi dawało w tych przypadkach wyniki fałszywie ujemne,
• autorzy szacują, że około 20% tekstów wygenerowanych przez AI zostałoby przypisanych człowiekowi.

Sam OpenAI wycofał swój klasyfikator 20 lipca 2023 roku, pół roku po premierze, z powodu niskiej dokładności. W testach producenta narzędzie poprawnie oznaczało jako „prawdopodobnie AI” tylko 26% tekstów maszynowych, a 9% tekstów ludzkich błędnie uznawało za maszynowe. Skoro twórca modelu nie zbudował wiarygodnego detektora własnych tekstów, trudno oczekiwać tego od darmowej wtyczki.

Oba badania dotyczyły angielskiego. Dla polszczyzny nie znaleźliśmy porównywalnego, recenzowanego testu, więc nie ma podstaw, by zakładać, że wyniki są lepsze. Mniej danych treningowych w danym języku zwykle oznacza słabsze modele detekcyjne, nie mocniejsze.

Jak przeprowadzić własny test w zespole

1. Zbierz 20 tekstów pisanych przez ludzi przed 2022 rokiem (archiwum bloga, stare artykuły), 20 tekstów wygenerowanych na te same tematy i 20 tekstów wygenerowanych, a potem zredagowanych przez redaktora.
2. Utnij wszystkie do zbliżonej długości, np. 600–800 słów, bo długość wpływa na wynik.
3. Przepuść każdy tekst przez 3–4 detektory i zapisz surowy wynik procentowy oraz werdykt.
4. Policz osobno odsetek fałszywych alarmów (tekst ludzki oznaczony jako AI) i odsetek przeoczeń (tekst AI uznany za ludzki).
5. Powtórz pomiar po tygodniu: część narzędzi zmienia modele bez ogłoszenia, więc wyniki potrafią się przesunąć.

Przy 20 tekstach w grupie przedział niepewności jest szeroki (jeden błąd to 5 punktów procentowych), dlatego taki test pokaże rząd wielkości, a nie dokładną skuteczność. Do decyzji „czy ufać werdyktowi” to w zupełności wystarczy.

Fałszywe alarmy i ich koszt dla zespołu

Najbardziej kosztowny błąd to fałszywy alarm. Badanie Liang i współpracowników (Stanford, opublikowane w czasopiśmie Patterns, wersja preprint w arXiv) sprawdziło siedem popularnych detektorów na 91 esejach TOEFL pisanych przez osoby, dla których angielski nie jest językiem ojczystym. Średni odsetek fałszywych alarmów wyniósł 61,22%. Wszystkie siedem narzędzi zgodnie uznało za maszynowe 18 esejów, a 89 z 91 zostało oznaczonych przez co najmniej jedno narzędzie. Gdy te same eseje przepisano z pomocą ChatGPT na bogatszy język, fałszywe alarmy spadły do 11,77%. Detektory nagradzały więc tekst poprawiony przez AI, a karały ten pisany ręcznie.

W agencji przekłada się to na konkretne straty:

• copywriter przepisuje tekst trzeci raz, żeby „obniżyć wynik”, i zwykle go pogarsza, bo dodaje sztuczne udziwnienia,
• redaktor traci czas na spór o liczbę, która nie mówi nic o jakości ani zgodności z briefem,
• relacja z autorem cierpi, gdy zarzut nieuczciwości opiera się na narzędziu, które myli się częściej niż rzut monetą w niektórych grupach tekstów.

Czy Google używa podobnych mechanizmów

Google nie ocenia treści według tego, czy napisał je człowiek. W komunikacie z lutego 2023 roku na blogu Google Search Central firma napisała wprost, że właściwe wykorzystanie AI lub automatyzacji nie narusza wytycznych. Liczy się przydatność treści dla użytkownika.

Granicą jest polityka nadużywania treści na dużą skalę (scaled content abuse) w zasadach dotyczących spamu: problemem jest generowanie wielu stron głównie po to, by manipulować rankingiem, bez względu na to, czy powstały ręcznie, czy automatycznie. Systemy Google szukają więc wzorców masowej produkcji bez wartości (setki niemal identycznych stron, brak unikalnych informacji, treść niezgodna z zapytaniem), a nie śladów modelu w pojedynczym zdaniu. Szerzej opisujemy to w tekście o tym, gdzie przebiega granica między treściami AI a polityką Google.

Wniosek praktyczny: niski wynik w detektorze nie chroni przed spadkiem, a wysoki nie jest sygnałem, który Google karze. Optymalizowanie tekstu „pod detektor” to praca bez wpływu na widoczność.

Sensowne zastosowania w kontroli jakości

Detektor nie nadaje się do rozstrzygania o autorstwie, ale bywa przydatny jako sygnał pomocniczy. Rozsądne zastosowania to:

• wychwytywanie szablonowości: bardzo wysoki wynik często idzie w parze z akapitami o identycznej budowie, ogólnikami i brakiem konkretów, więc warto wtedy przeczytać tekst uważniej,
• porównanie wersji: jeśli po redakcji wynik spada, zwykle oznacza to, że redaktor dodał przykłady, liczby i zróżnicował zdania, co jest wartością samą w sobie,
• monitoring dostawcy treści: nagły skok średniego wyniku u jednego zleceniobiorcy w skali miesiąca to powód do rozmowy o procesie, nie dowód winy.

Ważniejsze od detektora są kryteria, które da się sprawdzić bezpośrednio: czy tekst ma źródła, czy liczby są aktualne, czy odpowiada na intencję zapytania i czy zawiera informacje, których nie ma w pierwszej dziesiątce wyników. Takie punkty zebraliśmy w checkliście kontroli jakości treści AI przed publikacją. Znacznie więcej problemów da się też uniknąć na etapie zlecenia; pomaga w tym dobry brief, a narzędzia AI do briefów contentowych przyspieszają jego przygotowanie.

Co robić, gdy klient żąda wyniku detektora

Ten scenariusz zdarza się w agencjach coraz częściej i najlepiej mieć na niego gotową procedurę:

1. Ustal, czego klient naprawdę się obawia. Zwykle chodzi o kary od Google albo o to, że płaci za tekst, którego nikt nie napisał. Obie obawy da się zaadresować bez detektora.
2. Pokaż dane. Wyniki Weber-Wulff i OpenAI mieszczą się w jednym akapicie maila i zwykle zamykają dyskusję o „procencie AI”.
3. Zaproponuj mierniki jakości. Zamiast wyniku detektora raportuj źródła, unikalne dane, zgodność z briefem i wyniki w Search Console po 8–12 tygodniach.
4. Opisz proces. Jeśli korzystacie z AI, powiedz jasno, na jakim etapie i kto odpowiada za weryfikację faktów. Przejrzystość działa lepiej niż ukrywanie narzędzi.
5. Zapisz to w umowie. Jeśli klient nadal chce wyniku detektora, ustalcie, które narzędzie, jaki próg i co się dzieje przy rozbieżności, żeby nie wracać do sporu przy każdym tekście.

Detektory treści AI mają dziś realną wartość jako wskaźnik schematyczności tekstu, ale ich skuteczność w ustalaniu autorstwa jest zbyt niska, by opierać na niej decyzje kadrowe, rozliczenia z autorami czy ocenę ryzyka SEO. Redakcja, która mierzy jakość bezpośrednio, nie potrzebuje ich werdyktu.

FAQ