Jeden wpis w robots.txt zablokuje trening AI. Google, Microsoft i OpenAI na tak

Google, Microsoft i OpenAI zapowiedziały w piątek 30 października 2026 roku, że będą respektować jedną, wspólną regułę w pliku robots.txt, za pomocą której właściciel strony może wypisać swoje treści z trenowania modeli generatywnej AI. Zamiast osobnych blokad dla Google-Extended, GPTBota czy kolejnych crawlerów wystarczy jedna grupa reguł oparta na tokenie __usage_ai-training. Haczyk polega na tym, że dziś nikt jej jeszcze nie obsługuje, a każda z firm zinterpretuje ją trochę inaczej.

Dla branży SEO i AIO to jedna z ważniejszych zmian technicznych od czasu pojawienia się samego Google-Extended. Po raz pierwszy kilku największych graczy deklaruje wspólny język preferencji wobec AI, a Microsoft przy okazji wygasza stare mechanizmy NoArchive i NoCache, z których korzysta część wydawców. Wyjaśniamy, co dokładnie ogłoszono, czym różnią się podejścia poszczególnych firm i co warto zrobić już teraz.

Kontekst: robots.txt pękał w szwach od botów AI

Od 2023 roku każdy dostawca modeli językowych wprowadzał własnego crawlera i własną regułę kontroli. OpenAI ma GPTBota, OAI-SearchBota i ChatGPT-User, Google oddzielił trening Gemini od wyszukiwarki za pomocą tokenu Google-Extended, Anthropic rozróżnia ClaudeBota, Claude-User i Claude-SearchBota, a Microsoft wykorzystywał do tego celu tagi NoArchive i NoCache. Efekt był łatwy do przewidzenia: plik robots.txt w wielu serwisach zamienił się w długą listę nazw botów, które trzeba śledzić i aktualizować przy każdej nowości na rynku. Pisaliśmy o tym szerzej w poradniku robots.txt i boty AI: co blokować, a co wpuszczać.

Równolegle w Internet Engineering Task Force (IETF) od ponad roku działa grupa robocza AI Preferences (AIPREF), której celem jest ujednolicenie sposobu, w jaki strony komunikują swoje preferencje wobec wykorzystania treści przez sztuczną inteligencję. Grupa pracuje nad słownikiem pojęć, czyli definicjami takich terminów jak trening AI, a także nad sposobem zapisywania tych preferencji w robots.txt i nagłówkach HTTP.

Jak podaje serwis Search Engine Journal, 22 października grupa omawiała jeszcze inny projekt, współtworzony przez Gary’ego Illyesa z Google, który zakładał dodanie do robots.txt nowej reguły Content-Usage. Ten szkic został odłożony na bok, żeby przyspieszyć prace nad słownikiem. Zamiast niego na stół trafiła propozycja, która nie wymaga żadnej nowej dyrektywy.

Kluczowe fakty: co dokładnie ogłoszono

Podstawą zapowiedzi jest dokument typu Internet-Draft o nazwie draft-kelley-aipref-training-preference-signal, który Kevin Kelley z firmy Anthropic złożył w grupie AIPREF tego samego dnia, w którym firmy opublikowały swoje komunikaty. Warto podkreślić, że w rejestrze IETF jest to tak zwany szkic indywidualny, a więc formalnie nie jest to jeszcze oficjalny standard IETF. Kelley napisał na liście dyskusyjnej grupy, że Anthropic rozpoczął prace nad obsługą sygnału.

Jak działa wspólny token

Szkic nie dodaje do robots.txt żadnej nowej dyrektywy. Wykorzystuje zwykłą grupę reguł z polami User-Agent, Allow i Disallow, tyle że zamiast nazwy konkretnego bota wpisuje się tak zwany policy token __usage_ai-training. Przykład z dokumentu pokazuje, jak wypisać z trenowania cały serwis poza katalogiem z materiałami prasowymi:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Kilka zasad z projektu ma duże znaczenie praktyczne:

• Reguła wieloznaczna nie wystarcza. Grupa User-Agent: * nigdy nie pasuje do tokenu, więc ogólne blokady w istniejących plikach nie zostaną potraktowane jako sprzeciw wobec treningu.
• Brak grupy oznacza brak preferencji. Plik robots.txt bez sekcji __usage_ai-training nie wyraża żadnego stanowiska. Według Kelleya dotyczy to dziś praktycznie każdego opublikowanego pliku.
• Token nie steruje crawlowaniem. To deklaracja dotycząca wykorzystania treści, a nie zakaz pobierania stron. Bot nadal może odwiedzać adresy, jeśli inne reguły mu na to pozwalają.
• Definicja treningu jest wąska. Zgodnie ze słownikiem AIPREF trening AI to wykorzystanie treści do zmiany wyuczonych parametrów generatywnego modelu. Modele służące wyłącznie do zadań niegeneratywnych, takich jak klasyfikacja czy ranking, nie są objęte tą definicją.

Kto, co i kiedy

Google: token jako skrót do Google-Extended

W komunikacie na blogu Google Search Central, podpisanym przez Johna Muellera, firma wyjaśnia, że jeśli strona wypisze się z treningu za pomocą wspólnego tokenu, a jednocześnie nie wskaże osobno Google-Extended, Google zamierza potraktować to tak, „jakby wydawca zablokował Google-Extended”. Firmowe reguły mają nadal działać równolegle, więc można wyrazić ogólną preferencję wspólnym tokenem i doprecyzować ją dla konkretnego dostawcy.

To ważny szczegół, bo Google-Extended obejmuje nie tylko trening przyszłych modeli Gemini, ale również grounding, czyli dostarczanie treści z indeksu wyszukiwarki do modelu w momencie generowania odpowiedzi w aplikacjach Gemini i na platformie Vertex AI. Google zaznacza, że strony, które wprost zezwalają na Google-Extended, mogą pojawiać się w odpowiedziach Gemini i otrzymywać z nich kliknięcia. Według dokumentacji Google-Extended nie wpływa na obecność strony w wyszukiwarce Google. Wyłączenie treści z AI Overviews i AI Mode to osobny mechanizm w Search Console, opisany w naszym tekście Google: w Search Console wypiszesz treści z AI Overviews bez utraty pozycji.

Microsoft: osobno trening, osobno grounding

Najbardziej rozbudowaną zapowiedź opublikował Microsoft. We wpisie Krishny Madhavana, głównego menedżera produktu w Bing, firma przyjmuje wspólny token dla treningu i dodaje do niego dwie rzeczy. Po pierwsze, preferencję treningową można ustawić także dla pojedynczej podstrony, za pomocą tagu meta lub nagłówka HTTP, i ma ona wtedy pierwszeństwo przed robots.txt:

<meta name="Bingbot" content="ai-training:disallow">
X-Robots-Tag: Bingbot: ai-training:disallow

Po drugie, Microsoft wprowadza osobną preferencję AI Grounding, ustawianą wyłącznie na poziomie strony. Ma ona trzy wartości:

• Allow: domyślna, treść może zasilać odpowiedzi generowane przez AI.
• DisallowExtended: treść może być używana tylko w produktach obsługiwanych przez Microsoft, takich jak Copilot, AI Mode w Bing czy Microsoft 365, ale nie w usługach groundingu udostępnianych firmom trzecim, na przykład Web IQ czy API w Foundry.
• Disallow: treść nie jest wykorzystywana do generowania odpowiedzi.

Microsoft otwarcie ostrzega, że wybór Disallow lub DisallowExtended dla groundingu oznacza mniejszą widoczność marki w odpowiedziach AI. Żadna z opcji nie zmienia natomiast kwalifikacji do zwykłych wyników wyszukiwania Bing i nie tworzy żadnych umów licencyjnych ani płatności.

Harmonogram dla użytkowników NoArchive i NoCache

To jedyna z zapowiedzi, która wymusza konkretne działania. Nowe preferencje zastąpią NoArchive i NoCache jako sygnał dotyczący treningu i groundingu. Kalendarz wygląda następująco:

• 15 grudnia 2026: w Bing Webmaster Tools pojawi się tymczasowe ustawienie groundingu, dostępne wyłącznie dla stron, które na ten dzień używają NoArchive lub NoCache.
• 1 lutego 2027: Microsoft zaczyna respektować nowe preferencje w miarę ponownego crawlowania stron.
• 1 marca 2027: NoArchive i NoCache przestają być odczytywane jako preferencja treningu lub groundingu.
• 30 września 2027: najpóźniejszy termin wygaśnięcia tymczasowego ustawienia groundingu dla danej strony, jeśli wcześniej nie zostanie ona ponownie zcrawlowana.

Według FAQ Bing strony, które do 1 marca nie będą miały ani nowej preferencji, ani ustawienia tymczasowego, domyślnie zostaną potraktowane jako dopuszczające grounding, dopóki robot Microsoftu ich ponownie nie odwiedzi. Jeśli Bing wykryje na stronie którąkolwiek z nowych preferencji, zignoruje pozostałe tagi NoArchive i NoCache w całym serwisie.

OpenAI i Anthropic

OpenAI w swoim komunikacie zapowiada obsługę sygnału „w nadchodzących miesiącach” i podkreśla, że nie zastąpi on dotychczasowych reguł dla crawlerów firmy. Ani wpis, ani dokumentacja botów OpenAI nie wyjaśniają jednak, co się stanie, gdy reguła dla wspólnego tokenu i reguła dla GPTBota będą ze sobą sprzeczne. Anthropic, którego pracownik jest autorem szkicu, nie opublikował do 30 października osobnego komunikatu. Kelley napisał jedynie, że wdrożenie obsługi we wszystkich usługach firmy zajmie trochę czasu.

Co to znaczy dla SEO i AIO

Na pierwszy rzut oka to uproszczenie: jedna grupa w robots.txt zamiast listy kilkunastu botów. W praktyce wspólny token nie oznacza jednak tego samego u każdego dostawcy, i to jest najważniejsza informacja dla osób zajmujących się widocznością w wyszukiwarkach AI.

Trening a widoczność w odpowiedziach AI

U Microsoftu trening i grounding są rozdzielone, więc można zablokować trenowanie modeli i jednocześnie pozostać źródłem cytowań w Copilocie. U Google oba zastosowania siedzą pod jednym parasolem Google-Extended i, jak zauważa Search Engine Journal, dokumentacja nie opisuje sposobu na zablokowanie treningu Gemini przy jednoczesnym zachowaniu groundingu w aplikacjach Gemini. Ustawienie wspólnego tokenu na Disallow może więc oznaczać zniknięcie z odpowiedzi Gemini, nawet jeśli intencją było tylko zablokowanie trenowania.

Dla strategii AIO, czyli optymalizacji pod cytowania w ChatGPT, Gemini, Perplexity czy Copilocie, to kluczowe rozróżnienie. Trening wpływa na to, co model „wie” o marce w dłuższej perspektywie. Grounding decyduje o tym, czy strona pojawi się jako źródło z linkiem w konkretnej odpowiedzi. Kto buduje widoczność w AI, ten zwykle chce zachować grounding, a decyzję o treningu podejmuje osobno.

Wyszukiwarka klasyczna pozostaje nietknięta

Wszystkie trzy firmy podkreślają, że nowy sygnał nie wpływa na indeksowanie i ranking w zwykłych wynikach wyszukiwania. Token nie blokuje Googlebota ani Bingbota, a sama definicja treningu wyłącza modele rankingowe. Nie ma więc ryzyka, że ktoś przez pomyłkę wypadnie z indeksu, dodając grupę __usage_ai-training.

Wydawcy z NoArchive mają realne zadanie domowe

Największą grupą, która musi coś zrobić, są serwisy używające NoArchive lub NoCache, żeby ograniczyć wykorzystanie treści przez Copilota. Po 1 marca 2027 te tagi przestaną działać w tej roli, a strony bez nowej preferencji domyślnie trafią do groundingu. To częsta konfiguracja w serwisach wydawniczych i portalach z płatnymi treściami, także w Polsce.

Reakcje branży

Zapowiedź szybko obiegła media technologiczne i marketingowe. Według zestawień Google News o porozumieniu pisały między innymi The Next Web, PPC Land, Unite.AI i The Indian Express, a wiele redakcji opisało je jako „jedną linijkę w robots.txt, która wypisze stronę z treningu AI u Google i OpenAI”. Takie ujęcie jest jednak uproszczone, bo żadna z firm jeszcze sygnału nie obsługuje.

Microsoft w swoim komunikacie postawił sprawę wprost: wydawcy nie powinni być zmuszani do wyboru między widocznością w Bing a decydowaniem o tym, jak modele generatywne wykorzystują ich pracę. OpenAI określiło inicjatywę jako „praktyczny krok w stronę otwartej sieci” i zachęciło innych dostawców AI do respektowania sygnału.

Analitycy zwracają uwagę na kilka ograniczeń. Matt G. Southern z Search Engine Journal wskazuje, że wypisanie się za pomocą wspólnego tokenu nie obejmie tych samych zastosowań u Google i Microsoftu, a OpenAI nie określiło, co ma pierwszeństwo przy konflikcie reguł. Pozostaje też pytanie o firmy, które nie dołączyły do inicjatywy. Sygnał jest dobrowolny i opiera się na deklaracjach, więc nie zablokuje crawlerów, których operatorzy nie zobowiązali się go przestrzegać. Temat nieoficjalnych i słabo udokumentowanych botów omawialiśmy w artykule Boty AI 2026: przewodnik po crawlerach i kontroli dostępu.

Co dalej

Szkic Kelleya wygasa 3 maja 2027 roku, o ile nie zostanie zastąpiony nową wersją. Autor zapowiada, że zaproponuje swoje rozwiązanie jako zmianę do projektu Content-Usage, więc ostateczna składnia może się jeszcze zmienić. Google i OpenAI obiecują podać szczegóły wdrożenia, gdy obsługa będzie gotowa, a Microsoft ma już twarde daty.

Co warto zrobić teraz, w praktyce:

1. Przejrzyj robots.txt. Sprawdź, jakie reguły dla botów AI już masz i czy wynikają z przemyślanej decyzji, czy z kopiowania gotowych list.
2. Rozdziel decyzje o treningu i groundingu. Jeśli zależy Ci na cytowaniach w odpowiedziach AI, nie blokuj groundingu. Decyzja o treningu to osobna kwestia biznesowa.
3. Nie dodawaj tokenu w ciemno. U Google Disallow dla __usage_ai-training zadziała jak blokada Google-Extended, czyli obejmie też grounding w Gemini. Jeśli chcesz pozostać w odpowiedziach Gemini, rozważ jawne Allow dla Google-Extended.
4. Jeśli używasz NoArchive lub NoCache, zaplanuj zmiany przed 1 marca 2027 i zajrzyj do Bing Webmaster Tools po 15 grudnia 2026.
5. Monitoruj dokumentację. Terminy Google (początek 2027) i OpenAI (najbliższe miesiące) są orientacyjne, a szczegóły interpretacji mogą się różnić od dzisiejszych zapowiedzi.

Jedno jest pewne: rozmowa o kontroli treści przestaje dotyczyć listy botów, a zaczyna dotyczyć celów, do jakich treść jest wykorzystywana. Dla specjalistów SEO i AIO oznacza to więcej świadomych decyzji i mniej ręcznego dopisywania kolejnych User-Agentów.

FAQ