Zmienność odpowiedzi AI to zjawisko, w którym model językowy na identyczne pytanie podaje przy kolejnych uruchomieniach inną treść, inne marki i inne źródła. Nie jest to błąd narzędzia monitorującego ani oznaka spadku widoczności. Wynika z tego, jak modele generują tekst, jak dobierają strony z sieci i jak dopasowują się do użytkownika. Kto mierzy obecność marki w ChatGPT, Gemini czy AI Overviews, musi tę zmienność znać, bo inaczej będzie raportował szum jako trend.
Poniżej rozkładamy ją na przyczyny, pokazujemy, które z nich da się kontrolować w pomiarze, i podpowiadamy, jak rozmawiać o tym z klientem. Liczbę powtórzeń i wielkość próbki omawiamy tu skrótowo, bo szczegółowe wyliczenia są w tekście o tym, jak często mierzyć widoczność w AI.
Skąd bierze się losowość w odpowiedziach modeli
Model językowy nie wyszukuje gotowej odpowiedzi. Tekst powstaje token po tokenie, a przy każdym kroku model wylicza rozkład prawdopodobieństwa kolejnych słów i jedno z nich losuje. Parametr temperatury decyduje, jak bardzo to losowanie jest „odważne”. W aplikacjach konsumenckich, takich jak ChatGPT czy Gemini, użytkownik nie ma nad nim kontroli, a wartość jest ustawiona tak, żeby odpowiedzi brzmiały naturalnie, czyli nie zawsze tak samo.
Wystarczy, że na wczesnym etapie odpowiedzi model wybierze inne słowo, a cała dalsza część potoczy się inaczej. Jeśli w pierwszym zdaniu padnie nazwa jednej marki, kolejne zdania często budują się wokół niej. Druga wersja odpowiedzi może zacząć od innej firmy i nigdy nie wrócić do pierwszej.
Ciekawsze jest to, że losowość nie znika nawet po wyzerowaniu temperatury. Zespół Thinking Machines Lab opisał we wrześniu 2025 roku eksperyment, w którym model Qwen3-235B wygenerował 1000 odpowiedzi na prompt „Tell me about Richard Feynman” przy temperaturze 0. Teoretycznie wszystkie powinny być identyczne. W praktyce powstało 80 różnych wersji, a najczęstsza pojawiła się 78 razy. Autorzy wskazali przyczynę w analizie niedeterminizmu w inferencji LLM: wynik obliczeń zależy od tego, ile innych zapytań serwer przetwarza w tym samym momencie. Obciążenie serwera zmienia się co sekundę, więc drobne różnice numeryczne przesuwają wybór słów. Po wdrożeniu specjalnych jąder obliczeniowych wszystkie 1000 odpowiedzi było już identycznych, ale publiczne czatboty takich zabezpieczeń nie gwarantują.
Drugie źródło losowości dotyczy trybu z wyszukiwaniem. Gdy model sięga do sieci, najpierw rozbija pytanie na kilka zapytań pomocniczych (tzw. query fan-out), potem pobiera wyniki i wybiera fragmenty do cytowania. Każdy z tych kroków może za drugim razem przebiec inaczej. Opisywaliśmy już badanie, z którego wynika, że ChatGPT zmienia cytowane źródła między zapytaniami, bo za odpowiedzią pracuje kilka ukrytych potoków wyszukiwania o różnym profilu.
Wpływ historii rozmowy i ustawień konta
Ta sama fraza wpisana w nowym czacie i w środku długiej rozmowy to dla modelu dwa różne zadania. Wszystko, co padło wcześniej, trafia do kontekstu i wpływa na odpowiedź. Jeśli kilka wiadomości wcześniej użytkownik pytał o konkretną firmę, model chętniej wymieni ją ponownie.
Do tego dochodzi pamięć konta. W ChatGPT działają zapisane wspomnienia oraz opcja korzystania z historii czatów. Według dokumentacji pamięci w ChatGPT włączenie odwołań do historii pozwala modelowi używać informacji z wcześniejszych rozmów do personalizowania kolejnych odpowiedzi. Ta sama strona opisuje tryb czatu tymczasowego z opcją „Unpersonalized”, która wyłącza wspomnienia i instrukcje własne. Dla pomiaru to ważna wskazówka: ręczne testy na prywatnym koncie, z którego ktoś od miesięcy rozmawia o swojej branży, dają wyniki nieporównywalne z odpowiedzią, jaką widzi przeciętny użytkownik.
Personalizacja działa w obie strony. Właściciel marki, który często pyta model o własną firmę, zobaczy ją w odpowiedziach częściej niż klient, który pyta po raz pierwszy. To prosta droga do zawyżonych raportów.
Różnice między wersjami modelu i regionami
W aplikacjach konsumenckich model może się zmienić bez zapowiedzi. Dostawcy aktualizują domyślne wersje, zmieniają routing między modelem szybkim i modelem z rozumowaniem, a darmowe konta po przekroczeniu limitu dostają słabszy wariant. Pomiar z poniedziałku i pomiar z piątku mogą więc dotyczyć dwóch różnych modeli, choć interfejs wygląda tak samo.
Drugą zmienną jest lokalizacja i język. Wyszukiwanie w odpowiedziach AI uwzględnia przybliżone położenie użytkownika, a pytanie zadane po polsku trafia do innego zbioru stron niż to samo pytanie po angielsku. W Google dochodzi jeszcze kwestia, czy dla danej frazy w ogóle pojawia się podsumowanie AI. Szerzej piszemy o tym w poradniku o tym, jak mierzyć widoczność w Google AI Overviews.
Ile powtórzeń potrzeba, żeby wynik był miarodajny
Pojedyncza odpowiedź nie mówi nic o widoczności marki. Jest jedną próbą z rozkładu. Miarodajny staje się dopiero udział odpowiedzi, w których marka występuje, liczony na wielu przebiegach. Badanie SparkToro i Gumshoe ze stycznia 2026 roku pokazało, że ChatGPT i AI Google rzadziej niż raz na sto przebiegów podają tę samą listę marek, ale obecność konkretnej marki bywa przy tym dość stabilna.
Praktyczne minimum to kilkadziesiąt różnych promptów na jeden temat, każdy uruchomiony kilka razy. Więcej różnych promptów daje więcej informacji niż wielokrotne powtarzanie tego samego, bo powtórzenia jednego pytania są ze sobą skorelowane. Przy 30 odpowiedziach margines błędu dla udziału rzędu 30 proc. wynosi około ±16 punktów procentowych, więc wahania o 10 punktów między miesiącami nic nie znaczą. Dobór samych pytań opisujemy w tekście o tym, jak projektować prompty testowe.
Jak zapisywać i porównywać kolejne pomiary
Zmienności nie da się wyeliminować, ale da się ją ograniczyć po stronie pomiaru. Każdy przebieg warto zapisywać z kompletem metadanych, bez których porównanie miesiąc do miesiąca traci sens:
- dokładna treść promptu i jego wersja (nawet zmiana przecinka to nowy prompt),
- model i tryb (z wyszukiwaniem lub bez, z rozumowaniem lub bez),
- data i godzina uruchomienia,
- język i lokalizacja (adres IP, ustawienia konta),
- stan personalizacji: czysty czat, czat tymczasowy lub zalogowane konto testowe bez historii,
- pełna treść odpowiedzi oraz lista cytowanych adresów URL.
Porównywać należy rozkłady, a nie pojedyncze odpowiedzi. Zamiast „w marcu byliśmy na drugim miejscu, w kwietniu na piątym” lepiej pisać „marka pojawiła się w 42 proc. odpowiedzi w marcu i w 38 proc. w kwietniu, przy marginesie błędu ±9 punktów”. Taki zapis od razu pokazuje, że różnica mieści się w szumie.
Dobrą praktyką jest też stały koszyk kontrolny: kilka promptów, których odpowiedzi znamy od dawna. Jeśli nagle zmienią się wszystkie naraz, przyczyną jest prawdopodobnie nowa wersja modelu, a nie działania konkurencji.
Które sygnały są stabilne mimo zmienności
Nie wszystko w odpowiedziach AI skacze w równym stopniu. Kolejność marek na liście i dokładne sformułowania zmieniają się niemal przy każdym przebiegu. Znacznie stabilniejsze są:
| Sygnał | Stabilność | Jak go używać |
|---|---|---|
| Udział odpowiedzi z marką | Wysoka przy dużej próbce | Główny wskaźnik w raporcie |
| Zbiór domen cytowanych w temacie | Średnia | Mapa źródeł, które model uznaje za wiarygodne |
| Sposób opisu marki (kategoria, cechy) | Średnia do wysokiej | Kontrola, czy model rozumie, czym zajmuje się firma |
| Pozycja na liście | Niska | Tylko jako średnia z wielu przebiegów |
| Dosłowna treść odpowiedzi | Bardzo niska | Wyłącznie jako materiał jakościowy |
Stabilność opisu marki zależy od tego, jak mocno marka jest osadzona jako encja. Jeżeli model wie, czym firma się zajmuje, opisuje ją podobnie niezależnie od losowania słów. Budowanie takiej rozpoznawalności omawiamy w tekście o tym, jak budować encję, którą LLM zna. Z kolei to, które domeny wracają w cytowaniach, pozwala zrozumieć, gdzie warto zabiegać o wzmianki. Przykłady takich analiz pokazujemy w materiale o cytowaniach marek w odpowiedziach AI.
Jak tłumaczyć tę zmienność klientowi
Klient, który sam zada modelowi pytanie i nie zobaczy swojej marki, zadzwoni do agencji z pretensjami. Warto uprzedzić ten scenariusz już przy pierwszym raporcie. Pomaga prosta analogia: widoczność w AI przypomina prognozę pogody, a nie wynik meczu. Mówi o prawdopodobieństwie, a nie o pewnym rezultacie każdego pojedynczego zapytania.
W komunikacji sprawdzają się trzy zasady. Po pierwsze, raportować udział procentowy z marginesem błędu zamiast pozycji. Po drugie, pokazywać trend z kilku miesięcy, a nie zmianę z ostatniego tygodnia. Po trzecie, dołączać do raportu kilka przykładowych odpowiedzi jako ilustrację, z jasną adnotacją, że to pojedyncze losowania. Jeśli klient chce sprawdzać wyniki samodzielnie, dobrze jest pokazać mu, jak włączyć czat tymczasowy bez personalizacji, żeby jego własna historia nie zniekształcała obrazu.
Uczciwe postawienie sprawy buduje zaufanie. Agencja, która obiecuje „pierwsze miejsce w ChatGPT”, obiecuje coś, czego nikt nie jest w stanie zagwarantować, bo przy następnym zapytaniu to miejsce może zająć ktoś inny.
FAQ
Dlaczego ChatGPT daje inną odpowiedź na to samo pytanie?
Model losuje kolejne słowa z rozkładu prawdopodobieństwa, w trybie wyszukiwania za każdym razem może pobrać inne strony, a na wynik wpływają też historia rozmowy, pamięć konta, wersja modelu i lokalizacja użytkownika.
Czy ustawienie temperatury na zero usuwa zmienność?
Nie w pełni. W eksperymencie Thinking Machines Lab 1000 odpowiedzi przy temperaturze 0 dało 80 różnych wersji, bo wynik obliczeń zależał od obciążenia serwera. W aplikacjach konsumenckich użytkownik i tak nie ma dostępu do tego parametru.
Ile razy trzeba zadać pytanie, żeby ocenić widoczność marki?
Lepiej zadać kilkadziesiąt różnych pytań kilka razy niż jedno pytanie wiele razy. Przy 30 odpowiedziach margines błędu wynosi kilkanaście punktów procentowych, a precyzję rzędu kilku punktów daje dopiero kilkaset odpowiedzi.
Jak wykluczyć wpływ personalizacji podczas testów?
Testy warto prowadzić w czacie tymczasowym z opcją bez personalizacji albo na osobnym koncie testowym bez historii rozmów i zapisanych wspomnień. Zawsze zaczynaj od nowego czatu.
Który wskaźnik raportować klientowi?
Najlepiej udział odpowiedzi, w których marka się pojawia, liczony na dużej próbce i podany z marginesem błędu. Pozycja na liście i dosłowna treść odpowiedzi są zbyt niestabilne, żeby służyć jako główny KPI.










