Indeks Google a modele AI: indeks wyszukiwarki i pamięć modelu

Indeks Google a bazy wiedzy modeli AI: dwa różne światy

Strona może mieć komplet zielonych raportów w Search Console, stabilne pozycje na kilkadziesiąt fraz i mimo to nie istnieć dla ChatGPT czy Gemini. To nie jest błąd, tylko skutek tego, że indeks Google a modele AI to dwie osobne warstwy wiedzy, budowane innymi metodami, w innym tempie i przez inne roboty. Kto traktuje je jak jedno, źle diagnozuje problemy z widocznością w odpowiedziach AI.

Poniżej rozkładamy obie warstwy na części: skąd wyszukiwarka wie o stronie, skąd wie o niej model, kiedy model sięga do sieci, a kiedy odpowiada z pamięci. Na końcu lista działań, które pozwalają być obecnym w obu miejscach naraz.

Jak powstaje indeks wyszukiwarki

Google opisuje swoją wyszukiwarkę jako proces w trzech etapach: skanowanie, indeksowanie i wyświetlanie wyników. Robot pobiera stronę, system analizuje jej treść, tytuł, dane strukturalne i linki, a następnie decyduje, czy zapisać ją w indeksie. Dopiero wtedy strona może pojawić się w wynikach. W dokumentacji Google Search Central pada ważne zastrzeżenie: nie wszystkie strony przechodzą przez każdy etap, a Google nie gwarantuje skanowania ani indeksowania nawet stron zgodnych z wytycznymi.

Indeks wyszukiwarki ma trzy cechy, o których warto pamiętać przy porównaniu z modelami:

  • jest aktualizowany na bieżąco, więc zmiana na stronie trafia do niego po kolejnym skanowaniu, zwykle w ciągu dni lub tygodni;
  • przechowuje dokumenty z adresem URL, więc wynik zawsze prowadzi do konkretnej strony;
  • o kolejności wyników decydują algorytmy rankingowe, które opisujemy w tekście o tym, jak rozumieć aktualizacje algorytmów Google.

Skąd modele biorą wiedzę: trening i wyszukiwanie na żywo

Model językowy ma dwa źródła wiedzy i to rozróżnienie jest sednem całego tematu.

Warstwa pierwsza: dane treningowe

Podczas treningu model przetwarza ogromny zbiór tekstów, w tym publicznie dostępne strony. Nie zapisuje ich jak indeks, z adresem i datą. Zamienia je w statystyczne zależności między słowami i pojęciami. Efekt: model „wie”, że dana marka istnieje i czym się zajmuje, ale często nie potrafi wskazać, z której strony to wie. Wiedza z treningu jest zamrożona w chwili zakończenia zbierania danych.

Warstwa druga: wyszukiwanie w czasie rzeczywistym

Gdy asystent ma włączone wyszukiwanie, pobiera aktualne dokumenty z sieci w trakcie odpowiadania i podaje je modelowi jako materiał źródłowy. Google nazywa to groundingiem, czyli dostarczaniem modelowi treści z indeksu wyszukiwarki w momencie zadania pytania. Tutaj strona pojawia się z linkiem i może zostać zacytowana. Microsoft poszedł o krok dalej i formalnie oddzielił klasyczne indeksowanie od indeksowania pod grounding, o czym pisaliśmy przy okazji zmian, w których Bing rozdzielił indeks AI od klasycznego.

Obie warstwy obsługują różne roboty. OpenAI w dokumentacji swoich crawlerów rozdziela GPTBot (zbieranie treści, które mogą trafić do treningu modeli) od OAI-SearchBot (wyświetlanie stron w wynikach wyszukiwania ChatGPT) i ChatGPT-User (wizyty wywołane bezpośrednio przez pytanie użytkownika). Każde z tych ustawień w robots.txt działa niezależnie.

Dlaczego data odcięcia wiedzy ma znaczenie

Każdy model ma datę odcięcia wiedzy, czyli moment, po którym nie zna żadnych nowych faktów z treningu. Wszystko, co opublikowano później, model może poznać wyłącznie przez wyszukiwanie na żywo. W praktyce oznacza to kilka rzeczy:

  • nowa firma albo nowy produkt nie istnieje w pamięci modelu, dopóki nie powstanie kolejna generacja modelu;
  • marka, która zmieniła nazwę, ofertę lub cennik, może być opisywana według stanu sprzed zmian;
  • przerwa między zebraniem danych a premierą modelu liczy zwykle wiele miesięcy, więc „najnowszy model” wcale nie oznacza „świeżej wiedzy”.

Dla wyszukiwarki ten problem prawie nie istnieje: nowa strona trafia do indeksu po zeskanowaniu, a nie po wydaniu nowej wersji algorytmu.

Kiedy model korzysta z sieci, a kiedy z pamięci

Asystent nie wyszukuje przy każdym pytaniu. Decyzję podejmuje system na podstawie typu zapytania i ustawień produktu. Upraszczając:

Sytuacja Najczęstsze źródło odpowiedzi Czy pojawia się link
Pytanie o definicję lub ogólną wiedzę Pamięć z treningu Zwykle nie
Pytanie o aktualne ceny, wydarzenia, ranking firm Wyszukiwanie na żywo Tak, ze źródłami
Prośba o rekomendację lokalnej firmy Wyszukiwanie plus dane z map i opinii Często tak
Wyszukiwanie wyłączone przez użytkownika lub API Wyłącznie pamięć Nie

Nawet w trybie wyszukiwania model nie czyta całej strony tak jak człowiek. Analiza ponad tysiąca odpowiedzi ChatGPT, którą omawialiśmy w tekście o tym, jak naprawdę działa indeks ChatGPT, pokazała, że do systemu trafia głównie tytuł i krótki fragment treści. Dodatkowo ChatGPT korzysta z kilku zewnętrznych dostawców wyników, w tym z Binga jako kolejnego kanału pobierania źródeł, więc pozycja w Google nie przekłada się automatycznie na obecność w jego źródłach.

Strona w Google, ale nieznana modelowi: typowe przyczyny

Gdy klient pyta, dlaczego ChatGPT go nie zna, choć Google pokazuje go wysoko, przyczyna zwykle leży w jednym z poniższych miejsc:

  1. Strona jest młodsza niż data odcięcia wiedzy. Model jej nie trenował i dowie się o niej tylko przez wyszukiwanie.
  2. Roboty AI są zablokowane. Regułę w robots.txt lub zaporę ustawioną przez hosting albo CDN łatwo przeoczyć. Najszybciej sprawdzić to w logach serwera, o czym piszemy w poradniku analiza logów pod boty AI.
  3. Treść ładuje się dopiero w JavaScripcie. Googlebot renderuje strony, wiele robotów AI tego nie robi i widzi pusty szablon. Szczegóły opisujemy w tekście o tym, dlaczego model nie widzi treści renderowanej w JavaScripcie.
  4. Brak strony w indeksie, z którego korzysta asystent. Silna pozycja w Google nic nie daje, jeśli wyszukiwarka używana przez dany asystent ma stronę słabo zindeksowaną.
  5. Za mało wzmianek poza własną witryną. W danych treningowych marka istnieje dzięki temu, że piszą o niej inni. Jedna strona firmowa to zbyt słaby sygnał, by model zapamiętał encję.

Działa to także w drugą stronę. Model potrafi znać markę z treningu, choć jej strona wypadła z indeksu Google, bo wiedza w modelu nie znika razem z adresem URL.

Co robić, żeby istnieć w obu warstwach

Nie ma jednego przełącznika, który załatwia oba światy. Jest za to zestaw działań, z których każde wzmacnia jedną lub obie warstwy.

Dla wyszukiwania na żywo

  • Świadomie zdecyduj, które roboty wpuszczasz. W Google token Google-Extended kontroluje wykorzystanie treści do trenowania Gemini i do groundingu w aplikacjach Gemini, ale według listy robotów Google nie wpływa na obecność w wyszukiwarce ani na ranking. Podobnie OAI-SearchBot możesz wpuścić, a GPTBota zablokować.
  • Zadbaj o indeksację także w Bing, bo z niego korzysta część asystentów.
  • Pisz tytuły i pierwsze akapity tak, by samodzielnie odpowiadały na pytanie: to one najczęściej trafiają do modelu.
  • Serwuj kluczową treść w HTML, bez zależności od skryptów.

Dla pamięci modelu

  • Buduj wzmianki w zewnętrznych, często cytowanych źródłach: mediach branżowych, katalogach, rankingach, wywiadach.
  • Utrzymuj spójny opis marki wszędzie, gdzie się pojawia: ta sama nazwa, ta sama kategoria działalności, te same kluczowe fakty.
  • Wzmacniaj sygnały autorytetu autorów i firmy, które opisujemy w tekście o praktycznych sygnałach EEAT dla agencji.
  • Pamiętaj, że efekt pojawi się dopiero w kolejnej generacji modelu, więc to praca na miesiące, nie tygodnie.

Do mierzenia efektów nie wystarczy pozycja w Google. Potrzebny jest osobny monitoring obecności w odpowiedziach AI, a jego ograniczenia opisujemy w tekście o tym, czy rankingi w AI w ogóle istnieją i jak je śledzić.

FAQ

Czy strona w indeksie Google jest automatycznie widoczna w ChatGPT?

Nie. ChatGPT korzysta z własnego robota OAI-SearchBot i z zewnętrznych dostawców wyników, a jego pamięć pochodzi z danych treningowych. Obecność w Google zwiększa szanse, ale niczego nie gwarantuje.

Czy zablokowanie GPTBota usunie mnie z wyników wyszukiwania ChatGPT?

Według dokumentacji OpenAI nie. GPTBot dotyczy treści, które mogą trafić do treningu modeli, a o obecności w wynikach wyszukiwania ChatGPT decyduje OAI-SearchBot. Oba ustawienia działają niezależnie.

Czy Google-Extended wpływa na AI Overviews?

Google podaje, że token Google-Extended nie wpływa na obecność strony w wyszukiwarce Google ani na ranking. Dotyczy trenowania modeli Gemini oraz groundingu w aplikacjach Gemini i Vertex AI. AI Overviews są częścią wyszukiwarki, więc ten token ich nie kontroluje.

Jak szybko model dowie się o nowej stronie?

Przez wyszukiwanie na żywo nawet w ciągu dni, jeśli robot zeskanuje stronę. Do pamięci modelu trafi dopiero przy treningu kolejnej generacji, co zwykle trwa wiele miesięcy.

Dlaczego model opisuje moją firmę według starych danych?

Bo odpowiada z pamięci zamrożonej w dacie odcięcia wiedzy. Rozwiązaniem jest aktualna treść dostępna dla robotów wyszukiwania AI oraz świeże wzmianki w zewnętrznych źródłach, które asystent znajdzie, gdy włączy wyszukiwanie.