Screaming Frog do audytu pod AI: konfiguracja

Audyt pod AI różni się od klasycznego audytu SEO w jednym kluczowym punkcie: nie sprawdzasz tylko tego, czy Googlebot dojdzie do podstrony, ale czy model językowy znajdzie na niej gotową, cytowalną odpowiedź. Screaming Frog nadal jest najszybszym narzędziem do takiego przeglądu, o ile skonfigurujesz go inaczej niż do rutynowego crawla. Szerszy kontekst narzędziowy opisaliśmy w przewodniku Narzędzia do AIO 2026: kompletny przegląd stacku, a tutaj schodzimy do poziomu konkretnych ustawień.

Dlaczego standardowy crawl nie wystarcza

Domyślna konfiguracja Screaming Froga odpowiada na pytania techniczne: status HTTP, długość title, duplikaty meta description, głębokość kliknięcia. To nadal jest potrzebne, ale nie mówi nic o tym, czy strona nadaje się na źródło dla ChatGPT, Perplexity czy AI Overviews. Modele wybierają fragmenty, które da się wyciąć bez kontekstu: definicję w pierwszym akapicie, tabelę porównawczą, listę kroków, jednoznaczną liczbę z datą.

Druga różnica dotyczy dostępu. Boty AI mają własne user agenty i własne reguły w robots.txt, więc serwis może być w pełni otwarty dla Googlebota i jednocześnie zablokowany dla GPTBota. Crawl wykonany z domyślną tożsamością tego nie wykryje. Mechanikę samych botów rozbieramy w tekście o tym, jak działają crawlery AI.

Trzecia sprawa to dane strukturalne. Dla wyszukiwarki schema jest opcjonalnym wzmocnieniem, dla systemów generatywnych bywa najtańszym sposobem na jednoznaczne przypisanie autora, daty i typu treści. Audyt pod AI musi więc wyciągać JSON-LD z każdej podstrony, a nie tylko raportować, że walidator nie zgłosił błędu.

Ustawienie user agenta bota AI

Zacznij od zakładki Configuration, sekcja User-Agent. Wybierz Custom i wpisz ciąg zgodny z dokumentacją operatora, na przykład GPTBot/1.0 albo ClaudeBot/1.0. Screaming Frog wyśle wtedy takie żądania, jakie realnie trafiają na serwer, i zinterpretuje reguły z robots.txt przypisane do tego agenta.

Wykonaj co najmniej dwa przebiegi: jeden jako Googlebot, drugi jako bot AI. Porównanie liczby adresów o statusie 200 pokazuje skalę problemu w ciągu kilku minut. Jeśli drugi crawl kończy się na kilkunastu URL-ach zamiast kilku tysięcy, blokada siedzi w robots.txt albo w regule WAF, a nie w treści.

Warto od razu włączyć opcję respektowania robots.txt, bo interesuje cię symulacja realnego zachowania bota, a nie obejście zabezpieczeń. Jeżeli chcesz zobaczyć, co znajduje się za blokadą, użyj trybu ignorowania robots w osobnym, wyraźnie opisanym przebiegu i nie mieszaj obu zbiorów danych w jednym raporcie.

Drugi element to limity. Boty AI odwiedzają serwisy rzadziej niż Googlebot i zwykle nie mają cierpliwości do wolnych odpowiedzi. Ustaw w Configuration, Speed rozsądny limit równoległych połączeń (5 URL na sekundę wystarczy dla większości serwisów) i sprawdź w kolumnie Response Time, ile podstron przekracza sekundę. To realny czynnik odcięcia przy dużych witrynach.

Ekstrakcja JSON-LD i nagłówków własnym XPath

Najważniejsza część konfiguracji znajduje się w Configuration, Custom, Extraction. Dodaj tam kilka reguł, które zamienią crawl w audyt treści.

• JSON-LD: XPath //script[@type='application/ld+json'], tryb Extract Inner HTML. Dostajesz surowy blok schema z każdej podstrony i możesz go filtrować w Excelu po typie (Article, FAQPage, Product).
• Pierwszy akapit: XPath (//article//p)[1], tryb Extract Text. To materiał na szybką ocenę, czy strona odpowiada na pytanie w pierwszych dwóch zdaniach.
• Wszystkie H2: XPath //h2. Nagłówki w formie pytań są dla modeli najłatwiejsze do dopasowania.
• Autor: XPath //*[contains(@class,'author')]. Brak podpisu to jeden z częstszych powodów, dla których treść ekspercka nie zyskuje statusu źródła.
• Data aktualizacji: XPath //time/@datetime. Systemy generatywne mocno preferują świeże materiały.

Screaming Frog pozwala na kilkadziesiąt reguł jednocześnie, ale w praktyce pięć powyższych daje najlepszy stosunek pracy do wniosków. Jeśli szablon strony ma nietypową strukturę, sprawdź XPath w konsoli przeglądarki poleceniem $x("//h2"), zanim uruchomisz pełny crawl na dziesięciu tysiącach adresów.

Formalny opis obsługiwanych typów danych strukturalnych znajdziesz w dokumentacji Google Search Central. Warto trzymać się typów udokumentowanych, bo są też najlepiej rozpoznawane przez modele trenowane na otwartych danych.

Wykrywanie treści renderowanej przez JavaScript

Część botów AI nie wykonuje JavaScriptu albo robi to w bardzo ograniczonym zakresie. Jeśli kluczowe akapity, tabela cenowa lub sekcja FAQ pojawiają się dopiero po hydracji, dla modelu ta strona jest pusta.

Uruchom dwa przebiegi: pierwszy w trybie Text Only, drugi w trybie JavaScript (Configuration, Spider, Rendering). Porównaj kolumnę Word Count w obu eksportach. Podstrony, na których różnica przekracza 30 procent, to lista priorytetowa dla działu front-endu.

W trybie renderowania włącz też opcję zapisu zrzutów ekranu. Sam podgląd renderowanego HTML pokazuje, czy bot widzi treść, czy tylko szkielet z komunikatem o ładowaniu. Ten prosty test wyłapuje więcej problemów niż godzina analizy logów.

Raport: strony bez schema i bez odpowiedzi wprost

Po zakończeniu crawla przejdź do zakładki Custom Extraction i posortuj wyniki po pustych wartościach. Powstają wtedy trzy listy, które warto traktować jako osobne zadania.

1. Brak JSON-LD. Podstrony bez żadnego bloku schema. Zwykle są to starsze wpisy sprzed wdrożenia wtyczki SEO albo strony budowane w niestandardowym szablonie.
2. Schema bez autora i daty. Blok istnieje, ale zawiera wyłącznie headline i url. Uzupełnienie pól author oraz dateModified jest tanie i wpływa na ocenę wiarygodności.
3. Pierwszy akapit bez odpowiedzi. Tekst zaczyna się od wstępu w rodzaju „w dzisiejszych czasach”, zamiast od definicji lub konkretnej liczby. To najczęstsza przyczyna braku cytowań przy treści merytorycznie poprawnej.

Trzecią listę oceniasz ręcznie, ale eksport z kolumną pierwszego akapitu skraca tę pracę do kilkunastu minut na sto adresów. Wyniki dobrze jest podpiąć pod stały monitoring, żeby widzieć efekt poprawek w czasie. Prosty schemat takiego arkusza opisaliśmy w tekście o monitoringu widoczności AI w Google Sheets.

Eksport i priorytetyzacja poprawek

Eksportuj Internal, All wraz z kolumnami z Custom Extraction do jednego pliku CSV. W arkuszu dodaj kolumnę punktacji i przypisz wagi według prostego klucza: brak dostępu dla bota AI to 3 punkty, brak schema 2 punkty, słaby pierwszy akapit 2 punkty, różnica Word Count powyżej 30 procent 3 punkty, brak autora 1 punkt.

Posortuj malejąco i weź pierwsze pięćdziesiąt adresów. W praktyce ta grupa odpowiada za większość utraconych cytowań, bo są to zwykle strony o najwyższym potencjale tematycznym, które po prostu nie dają modelowi materiału do zacytowania.

Poprawki wdrażaj partiami po dziesięć adresów i po każdej partii powtarzaj crawl z tą samą konfiguracją. Zapisz plik konfiguracyjny (File, Configuration, Save As), żeby kolejne przebiegi były porównywalne. Bez tego kroku każdy audyt mierzy coś nieco innego i trudno wykazać postęp.

Warto pamiętać, że sama konfiguracja crawlera nie zastąpi pracy nad autorytetem. Widoczność w odpowiedziach generatywnych zależy również od tego, kto i w jakim kontekście linkuje do serwisu, co szerzej omawiamy w analizie linków pod AI. Screaming Frog usuwa przeszkody techniczne, reszta to redakcja i PR.

Pełną listę parametrów i tryby pracy narzędzia znajdziesz w oficjalnej dokumentacji Screaming Frog. Konfiguracja opisana powyżej działa od wersji 19 wzwyż i nie wymaga dodatkowych wtyczek.

FAQ