Boty AI a obciążenie serwera: jak ograniczyć koszty crawla

Rachunek za hosting rośnie, w Google Analytics ruch stoi w miejscu, a w logach serwera co trzecie żądanie podpisane jest nazwą crawlera, którego dwa lata temu nikt nie znał. To typowy obraz serwisu, który w 2026 roku nie kontroluje botów AI. Problem nie polega na samym ich istnieniu, tylko na tym, że część z nich pobiera strony w tempie, którego nie uzasadnia żadna korzyść dla właściciela. Pełną mapę crawlerów i ich ról opisaliśmy w przewodniku Boty AI 2026: przewodnik po crawlerach i kontroli dostępu. Tutaj skupiamy się na jednym wąskim pytaniu: jak policzyć, ile kosztują Cię boty AI, i jak ograniczyć to obciążenie serwera bez wypadnięcia z odpowiedzi ChatGPT czy Perplexity.

Ile ruchu generują boty AI na typowym serwisie

Nie ma jednej liczby, która pasowałaby do każdej strony, i warto nieufnie podchodzić do branżowych średnich. Udział botów AI zależy od trzech rzeczy: liczby adresów URL, częstotliwości zmian treści i tego, czy serwis jest często cytowany. Mały blog firmowy z kilkudziesięcioma wpisami zwykle widzi pojedyncze wizyty GPTBota czy ClaudeBota dziennie. Sklep z tysiącami kart produktów, filtrami i paginacją potrafi natomiast przyjmować od crawlerów AI więcej żądań niż od Googlebota.

Najważniejsza obserwacja z praktyki: obciążenie rzadko robi pojedynczy bot. Kłopot pojawia się, gdy kilka crawlerów treningowych (GPTBot, ClaudeBot, Bytespider, Meta-ExternalAgent, CCBot) trafia na serwis w tym samym oknie czasowym i każdy z nich przechodzi przez nieskończone kombinacje parametrów URL. Na hostingu bez cache stron każde takie żądanie oznacza zapytanie do PHP i bazy danych, a więc realne zużycie CPU.

Jak policzyć ich udział na podstawie logów

Statystyki w panelu hostingu i GA4 tego nie pokażą, bo boty nie uruchamiają JavaScriptu. Jedynym wiarygodnym źródłem są surowe logi serwera (access log Nginx lub Apache albo eksport logów z CDN). Proces krok po kroku, łącznie z filtrowaniem po user agencie, opisaliśmy w artykule o analizie logów pod GPTBot i ClaudeBot. Do oceny kosztów potrzebujesz z nich czterech liczb:

• udział żądań botów AI w całości żądań w ostatnich 7–30 dniach,
• udział transferu (bajtów), bo bot pobierający obrazy i PDF-y kosztuje więcej niż bot czytający sam HTML,
• rozkład godzinowy, który pokazuje, czy szczyty botów pokrywają się ze szczytami ludzi,
• odsetek odpowiedzi 5xx i czasów odpowiedzi powyżej 1 sekundy w oknach aktywności botów.

Ostatnia liczba jest kluczowa. Jeśli boty generują 30% żądań, ale serwer nie zwalnia, sprawa jest kosmetyczna. Jeśli w ich szczytach rosną błędy 503 i czas odpowiedzi dla użytkowników, masz realny koszt: zarówno w rachunku, jak i w konwersji. Pamiętaj też o weryfikacji: część ruchu podpisanego jako GPTBot to podróbki. Prawdziwe boty sprawdzisz po zakresach IP publikowanych przez operatorów, na przykład na stronie OpenAI o swoich crawlerach.

Crawl delay i limity po stronie serwera

Dyrektywa Crawl-delay w robots.txt wygląda na proste rozwiązanie, ale jest niestandardowa. Googlebot ją ignoruje, a operatorzy botów AI w większości nie deklarują, że ją respektują. Można ją dodać jako sygnał dobrej woli, nie należy jednak na niej opierać całej ochrony.

Skuteczniejsze są limity po stronie serwera. W Nginx moduł limit_req pozwala ograniczyć liczbę żądań na sekundę dla określonych user agentów lub zakresów IP. Kluczowa jest odpowiedź po przekroczeniu limitu: kod 429 (Too Many Requests) z nagłówkiem Retry-After jest jasnym sygnałem dla dobrze napisanego crawlera, że ma zwolnić. Google w dokumentacji o ograniczaniu szybkości indeksowania wprost wskazuje kody 429, 500 i 503 jako tymczasowy hamulec, a crawlery AI zachowują się podobnie. Zwracanie 403 albo zrywanie połączenia działa jak blokada, a nie jak limit.

Druga dźwignia to cache. Strona, która dla anonimowego ruchu serwuje gotowy HTML z cache, obsługuje setki żądań botów bez dotykania bazy danych. Na wielu serwisach samo włączenie cache stron rozwiązuje problem kosztów, zanim trzeba cokolwiek blokować.

Rate limiting na CDN bez blokowania wszystkiego

Jeśli serwis stoi za CDN, limity lepiej ustawić tam niż na serwerze, bo nadmiarowe żądania nie docierają wtedy w ogóle do Twojej infrastruktury. Cloudflare, Fastly czy Akamai oferują reguły ograniczające liczbę żądań na IP lub na sygnaturę klienta (w Cloudflare to reguły rate limiting w WAF). Rozsądna konfiguracja wygląda zwykle tak:

1. osobna reguła dla zweryfikowanych botów AI z limitem na przykład 1–2 żądań na sekundę,
2. twarda blokada dla ruchu, który podaje się za znany bot, ale pochodzi spoza jego zakresów IP,
3. wyłączenie z limitów Googlebota i Bingbota, żeby nie zaszkodzić klasycznemu SEO,
4. tryb logowania przez pierwsze dni, zanim reguła zacznie realnie odrzucać żądania.

Uważaj na gotowe przełączniki typu „zablokuj wszystkie boty AI”. Są wygodne, ale działają jednym ruchem na wszystkie kategorie, w tym na boty pobierające strony na żywo w odpowiedzi na pytanie użytkownika. Po ich włączeniu sprawdź, czy serwis wciąż jest widoczny dla tych crawlerów, na których Ci zależy.

Co blokować bez utraty cytowań

Najważniejsze rozróżnienie to boty treningowe kontra boty wyszukujące i działające na żywo. GPTBot, ClaudeBot czy CCBot zbierają dane do trenowania modeli; ich blokada nie usuwa Cię z wyników ChatGPT Search ani Perplexity. OAI-SearchBot, ChatGPT-User, PerplexityBot czy Claude-SearchBot pobierają strony po to, by zacytować je w odpowiedzi. Gotowe reguły robots.txt dla wydawcy, sklepu i firmy usługowej znajdziesz w tekście robots.txt i boty AI: co blokować, a co wpuszczać.

Z punktu widzenia kosztów sensowna kolejność jest taka: najpierw zablokuj lub mocno ogranicz boty, które nie przynoszą żadnego ruchu zwrotnego (Bytespider jest tu częstym kandydatem), potem nałóż limity na boty treningowe, a boty wyszukujące zostaw z łagodnym limitem. Ich ruch jest zwykle niewielki, a to one decydują o cytowaniach. Warto przy tym zadbać, by bot, który już przychodzi, trafiał w to, co ważne; pomaga w tym dobrze przygotowany plik opisany w poradniku llms.txt krok po kroku.

Kiedy problem leży w strukturze serwisu

Bardzo często okazuje się, że boty AI nie są przyczyną, tylko objawem. Jeśli w logach widać tysiące żądań do adresów z parametrami sortowania, filtrów, kalendarzy wydarzeń czy wyników wyszukiwarki wewnętrznej, to serwis sam wygenerował nieskończoną przestrzeń URL. Googlebot nauczył się ją omijać, crawlery AI jeszcze nie.

Rozwiązania są te same, co przy klasycznym budżecie crawlowania: Disallow dla parametrów bez wartości, linki do filtrów jako elementy niebędące linkami, kanoniczne adresy i ograniczenie paginacji. Szczególnie narażone są serwisy budowane szablonowo; o tym, jak ustawić bramkę jakości i limity przy generowaniu tysięcy stron, piszemy w tekście o programmatic SEO w 2026 roku. Uporządkowanie struktury zmniejsza obciążenie od wszystkich botów naraz i zwykle daje lepszy efekt niż najbardziej rozbudowana lista reguł w WAF.

Praktyczna zasada na koniec: zanim cokolwiek zablokujesz, zmierz. Tydzień logów, porównanie obciążenia przed i po zmianie oraz kontrola, czy boty wyszukujące nadal dostają odpowiedź 200, to minimum, które chroni zarówno rachunek za serwer, jak i widoczność w AI.

FAQ