Cloudflare rozdziela wyszukiwarkę od treningu AI. Disallow AI Training nie blokuje Googlebota

Cloudflare uruchomił nowe ustawienie o nazwie Disallow AI Training, które pozwala właścicielom stron odmówić wykorzystania treści do trenowania modeli AI bez ryzyka wypadnięcia z wyników wyszukiwania Google, Bing i Apple. Jak podaje oficjalny wpis na blogu Cloudflare z 15 września 2026 roku, mechanizm rozdziela dwie funkcje, które do tej pory były sklejone w jednym bocie: crawlowanie pod wyszukiwarkę i crawlowanie pod trening. Dla branży SEO i AIO to zmiana, która kończy jeden z najbardziej frustrujących dylematów ostatnich dwóch lat.

Kontekst: dlaczego blokowanie botów AI było dotąd hazardem

Od 2023 roku wydawcy i sklepy internetowe stali przed wyborem, którego nikt nie chciał podejmować. Googlebot, Applebot i Bingbot to tak zwane crawlery mieszanego użytku (mixed-use). Ten sam bot, z tym samym user-agentem i z tych samych adresów IP, pobierał strony zarówno do indeksu wyszukiwarki, jak i do zasobów wykorzystywanych przy trenowaniu modeli oraz generowaniu podsumowań AI. Zablokowanie go w robots.txt lub na firewallu oznaczało utratę ruchu organicznego. Przepuszczenie go oznaczało zgodę na wszystko.

Google próbował rozwiązać problem tokenem Google-Extended, który od jesieni 2023 pozwala wyłączyć stronę z treningu Gemini bez wpływu na wyszukiwarkę. Apple poszło tą samą drogą z Applebot-Extended. Microsoft nie miał jednak analogicznego mechanizmu na poziomie robots.txt, a praktyka pokazała, że wiele serwisów nie wiedziało, jak poprawnie skonfigurować te dyrektywy. Jak pisaliśmy przy okazji danych Cloudflare o ruchu botów AI, znaczna część firm reagowała na to blokadą wszystkiego, co pachniało AI, i płaciła za to widocznością.

Cloudflare, przez którego infrastrukturę przechodzi ogromna część światowego ruchu HTTP, od roku konsekwentnie buduje narzędzia kontroli nad botami AI. W lipcu 2026 firma zmieniła model Pay Per Crawl na rozliczenie za cytowania, a teraz dokłada element, który adresuje sedno problemu: kto może co robić z pobraną treścią.

Co dokładnie ogłosił Cloudflare

W panelu Cloudflare sekcja kontroli treningu AI otrzymała cztery opcje: Allow, Disallow AI Training, Block on pages with ads oraz Block. Nowością jest druga z nich. Po jej włączeniu Cloudflare emituje w pliku robots.txt preferencję zakazu treningu, a jednocześnie pozostawia crawlerom wyszukiwarek pełen dostęp do treści na potrzeby indeksowania.

Kluczowe jest pojęcie operatora odpowiedzialnego (Accountable). Cloudflare przyznaje ten status tylko tym firmom, które spełniają cztery warunki. W oficjalnym komunikacie firmy brzmią one następująco:

• mechanizm rezygnacji z treningu AI dla właścicieli stron, przez robots.txt lub podobny standard,
• mechanizm rezygnacji z podsumowań AI, ustawiany dziś bezpośrednio u operatora, a od przyszłego roku również przez Cloudflare,
• widoczność na poziomie pojedynczych adresów URL, które strony zostały udostępnione do treningu, wraz z metrykami pokazującymi, jak treść pojawiała się w wyszukiwarce,
• gwarancja, że rezygnacja z treningu AI nie wpłynie na tradycyjne wyniki wyszukiwania.

Status Accountable otrzymały na start Google, Apple i Microsoft jako operatorzy crawlerów mieszanych, a także Amazon, Anthropic, Meta i OpenAI jako operatorzy crawlerów wyłącznie treningowych. Różnica w traktowaniu jest istotna: przy włączonym Disallow AI Training boty Googlebot, Applebot i Bingbot nadal crawlują pod wyszukiwarkę, natomiast wszystkie boty treningowe, w tym GPTBot, ClaudeBot i crawlery Mety i Amazona, są odcięte.

Jak to wygląda technicznie

Mechanizm nie wymaga od właściciela strony ręcznej edycji robots.txt. Cloudflare dopisuje odpowiednie reguły w locie, korzystając z funkcji Bot Preference Sync, która zastępuje wycofywany Managed Robots.txt. Według doniesień serwisu Search Engine Journal dla Google emitowana jest reguła Disallow dla tokena Google-Extended, dla Apple analogiczna reguła dla Applebot-Extended. W przypadku Microsoftu wsparcie na poziomie robots.txt dopiero powstaje, a do tego czasu Cloudflare opiera się na tagu NOARCHIVE, który powstrzymuje wykorzystanie treści w Copilot i czacie Bing.

Co się dzieje z dotychczasowymi ustawieniami

Cloudflare migruje istniejące konfiguracje automatycznie. Serwisy, które w sekcji Training miały wybrane Block albo Block on pages with ads, przechodzą na Disallow AI Training. Nowe domeny monetyzowane reklamami dostają tę opcję jako preset domyślny. Jednocześnie z 15 września firma wycofuje dwie starsze funkcje: Block AI Bots oraz Managed Robots.txt. Klienci korzystający z tej drugiej są przenoszeni na Bot Preference Sync.

Ważna zmiana semantyczna dotyczy opcji Block. Do tej pory zablokowanie botów AI nie ruszało Googlebota. Teraz pełny Block zatrzymuje również Googlebota, Applebota i Bingbota, także w ich funkcji wyszukiwarkowej. Innymi słowy, kto naprawdę chce być niewidoczny, może to zrobić, ale musi zrobić to świadomie. Cloudflare zaznacza, że nowe ustawienia są dostępne dla wszystkich klientów na wszystkich planach, w tym darmowym.

Kluczowe liczby i fakty

• Data uruchomienia: 15 września 2026, równocześnie z deprecjacją Block AI Bots i Managed Robots.txt.
• Według Cloudflare około 17 procent stron w jego sieci ma już włączony jakiś mechanizm blokowania treningu.
• Siedmiu operatorów ze statusem Accountable: Google, Apple, Microsoft, Amazon, Anthropic, Meta, OpenAI.
• Trzy boty wyszukiwarek, które zachowują dostęp: Googlebot, Applebot, Bingbot.
• Termin dla Microsoftu na wsparcie preferencji w robots.txt: początek 2027 roku.
• Termin dla Google na narzędzia przejrzystości na poziomie URL: najbliższe tygodnie.
• Cel Cloudflare dla jednolitej kontroli nad podsumowaniami AI u wszystkich operatorów: początek przyszłego roku.

Co to znaczy dla SEO

Najważniejsza wiadomość dla specjalistów SEO brzmi: blokowanie treningu przestaje być decyzją, która może zaboleć w Google. Google potwierdza w swojej dokumentacji, że Google-Extended nie wpływa na obecność strony w wyszukiwarce ani na jej ranking, a Cloudflare wpisał tę gwarancję do warunków statusu Accountable. Dla agencji oznacza to koniec tłumaczenia klientom, dlaczego nie warto dotykać robots.txt w obawie o pozycje.

Warto jednak zwrócić uwagę na jedno rozróżnienie, które w komunikacji marketingowej łatwo zgubić. Disallow AI Training dotyczy wyłącznie treningu modeli. Nie steruje tym, czy strona pojawi się w AI Overviews albo w AI Mode. Za to odpowiada osobne ustawienie w Google Search Console, a w przypadku Apple dyrektywa nosnippet. Kto chce jednocześnie zablokować trening i wyłączyć się z podsumowań, nadal musi obsłużyć dwa przełączniki, przynajmniej do czasu, aż Cloudflare dostarczy jednolitą kontrolę nad podsumowaniami, co firma zapowiada na początek 2027 roku.

Trzeci wątek to audyt logów. Jeśli Google faktycznie dostarczy raport na poziomie URL pokazujący, które strony trafiły do zasobów treningowych, po raz pierwszy zobaczymy twarde dane zamiast domysłów. Dziś analiza logów serwera pod kątem botów AI to jedyny sposób, żeby wiedzieć, kto i co pobiera. Nowe narzędzie może to zmienić, choć jego szczegóły Google zachowuje na razie dla siebie.

Co to znaczy dla AIO

Dla optymalizacji pod odpowiedzi AI sprawa jest bardziej złożona i wymaga chłodnej kalkulacji. Blokada treningu ma sens dla wydawców, którzy sprzedają licencje na treści albo mają powody prawne, żeby nie karmić modeli. Dla większości firm B2B, sklepów i marek eksperckich, które chcą być cytowane w ChatGPT, Perplexity czy Gemini, odcięcie GPTBota i ClaudeBota to strzał w stopę.

Trzeba przy tym pamiętać o różnicy między botem treningowym a botem wyszukującym po stronie OpenAI. GPTBot zbiera dane do treningu, a OAI-SearchBot obsługuje wyszukiwanie w ChatGPT. Disallow AI Training w wersji Cloudflare blokuje boty treningowe, ale OpenAI figuruje na liście operatorów Accountable, więc jego bot wyszukiwarkowy powinien zachować dostęp, o ile firma trzyma się zadeklarowanych zasad. Jak pokazała sierpniowa historia z botem ChatGPT-User, który może nie respektować robots.txt, granica między pobieraniem na żądanie użytkownika a crawlowaniem bywa u OpenAI płynna. Warto po włączeniu nowego ustawienia sprawdzić w logach, co faktycznie się zmieniło.

Druga konsekwencja jest strategiczna. Skoro coraz więcej serwisów, dziś już 17 procent w sieci Cloudflare, blokuje trening, to zbiory danych, na których uczą się przyszłe modele, będą coraz bardziej zależne od tych, którzy bloków nie stawiają. Dla marek, które świadomie chcą być obecne w wiedzy bazowej modeli, a nie tylko w wynikach wyszukiwania na żywo, to argument, żeby zostawić drzwi otwarte. Dla wydawców z unikalnym contentem premium to argument, żeby je zamknąć i negocjować licencję.

Kto powinien włączyć Disallow AI Training, a kto nie

Nowe ustawienie jest darmowe i bezpieczne dla SEO, ale nie jest obojętne dla strategii. Decyzję warto oprzeć na tym, skąd serwis czerpie wartość z treści i gdzie chce być widoczny za rok czy dwa.

Włącz, jeśli

• Sprzedajesz lub licencjonujesz treści, a trening modeli na Twoich materiałach to realna utrata przychodu. Dotyczy to wydawców prasowych, baz danych, serwisów z raportami i platform z treścią premium za paywallem.
• Masz zobowiązania prawne lub umowne wobec autorów, którzy nie zgodzili się na wykorzystanie tekstów w treningu AI.
• Prowadzisz serwis z dużą liczbą treści generowanych przez użytkowników, których zgód nie jesteś w stanie zweryfikować.

Zostaw Allow, jeśli

• Budujesz markę ekspercką albo produktową i zależy Ci, żeby modele znały Twoją firmę, nazwy produktów i podstawowe fakty również poza wyszukiwaniem na żywo.
• Prowadzisz sklep, którego przewagą jest obecność w rekomendacjach asystentów AI. Odcięcie botów treningowych nie usunie sklepu z ChatGPT Search, ale zmniejszy szansę na to, że model zna markę bez podpowiedzi.
• Treści mają charakter informacyjny i nie stanowią samodzielnego produktu, a ich rolą jest przyciąganie ruchu i budowa autorytetu.

Dla dużej części polskich firm z sektora usług, B2B i e-commerce rozsądnym punktem wyjścia jest pozostawienie treningu włączonego i skupienie się na tym, żeby treści były cytowane. Dla wydawców mediowych, którzy już dziś negocjują umowy licencyjne z OpenAI, Google czy Amazonem, blokada jest naturalnym elementem pozycji negocjacyjnej. Cloudflare daje narzędzie, ale nie zdejmuje z nikogo obowiązku policzenia, co się bardziej opłaca.

Reakcje branży

Pierwsze komentarze specjalistów SEO w mediach branżowych są w większości pozytywne, choć z zastrzeżeniami. Search Engine Journal podkreśla, że dla większości klientów Cloudflare zmiana nie wymaga żadnej akcji, bo migracja ustawień jest automatyczna. Serwis Technobezz opisał nowe rozwiązanie jako koniec wymuszonego wyboru między wyszukiwarką a ochroną przed treningiem.

Krytyczne głosy dotyczą trzech obszarów. Po pierwsze, Microsoft dopiero obiecuje wsparcie w robots.txt, a termin początek 2027 roku oznacza, że przez najbliższe miesiące Bing działa na tagu NOARCHIVE, który jest mniej precyzyjny. Po drugie, status Accountable opiera się na deklaracjach operatorów, a Cloudflare nie ujawnił, jak zamierza je egzekwować. Po trzecie, cały mechanizm zależy od tego, czy strona przechodzi przez sieć Cloudflare. Serwisy na innych CDN lub bez CDN muszą nadal ręcznie zarządzać dyrektywami, co opisujemy w naszym przewodniku po tym, jak działają crawlery AI i jak je kontrolować.

Polscy wydawcy, którzy w większości korzystają z Cloudflare przynajmniej w warstwie DNS i ochrony, dostają narzędzie za darmo. Nie zastępuje ono jednak decyzji biznesowej: czy chcemy być w modelach, czy poza nimi.

Co dalej

W najbliższych tygodniach warto obserwować trzy rzeczy. Pierwsza to zapowiedziane przez Google narzędzie przejrzystości na poziomie URL. Jeśli trafi do Search Console, będzie to pierwszy oficjalny raport pokazujący, które strony serwisu zostały udostępnione do treningu, a jednocześnie jak radziły sobie w wyszukiwarce. Druga to reakcja Microsoftu, który jako jedyny z trzech operatorów wyszukiwarek nie ma jeszcze gotowej dyrektywy. Trzecia to obiecana przez Cloudflare jednolita kontrola nad podsumowaniami AI, która ma pojawić się na początku 2027 roku i objąć wszystkich operatorów Accountable.

Praktyczna lista kroków dla administratorów serwisów na Cloudflare:

• Zaloguj się do panelu i sprawdź, na jaką opcję zmigrowało dotychczasowe ustawienie w sekcji Training.
• Jeśli masz ustawione Block, upewnij się, że rozumiesz nową semantykę: teraz blokuje to również Googlebota.
• Zweryfikuj wygenerowany robots.txt pod kątem reguł dla Google-Extended i Applebot-Extended.
• Zdecyduj osobno o podsumowaniach AI: przełącznik w Search Console i nosnippet dla Apple.
• Po tygodniu sprawdź logi serwera: czy GPTBot, ClaudeBot i inne boty treningowe faktycznie zniknęły, a Googlebot i Bingbot pozostali.

FAQ