Share of voice w AI: jak policzyć udział marki

Kiedy klient pyta, czy jego marka „jest widoczna w AI”, odpowiedź w stylu „czasem nas cytują” nie wystarcza. Potrzebny jest wskaźnik, który da się policzyć dwa razy pod rząd i otrzymać zbliżony wynik. Tym wskaźnikiem jest share of voice w AI: udział marki w odpowiedziach modeli językowych na zestaw pytań istotnych dla rynku. Poniżej opisuję metodę, którą da się wdrożyć w agencji bez budowania własnej infrastruktury, wraz ze wzorem, wielkością próby i formatem raportu.

Definicja wskaźnika i co dokładnie liczymy

Share of voice w AI to procentowy udział wzmianek o marce w puli wszystkich wzmianek markowych, jakie pojawiły się w odpowiedziach modeli na zdefiniowany zestaw promptów. Kluczowe słowo to „markowych”: mianownikiem nie jest liczba promptów ani liczba zdań, tylko liczba wszystkich rozpoznanych podmiotów konkurencyjnych, które model wymienił.

Przed pierwszym pomiarem trzeba rozstrzygnąć trzy rzeczy, bo od nich zależy porównywalność kolejnych rund. Po pierwsze, czy liczymy każdą wzmiankę, czy tylko pierwszą w danej odpowiedzi. Rekomenduję wariant binarny na poziomie odpowiedzi (marka wystąpiła albo nie), ponieważ modele lubią powtarzać tę samą nazwę w podsumowaniu i wariant zliczający sztucznie premiuje gadatliwe odpowiedzi. Po drugie, czy wzmianka bez linku liczy się tak samo jak cytowanie ze źródłem. Warto prowadzić dwa równoległe liczniki: wzmianki i cytowania z linkiem do domeny, bo to zupełnie różne poziomy widoczności. Po trzecie, jak traktujemy wzmianki negatywne lub warunkowe („X bywa krytykowany za”). Najprościej liczyć je do share of voice, ale oznaczać sentyment osobną flagą.

Rozbiór pojedynczych odpowiedzi, czyli to, skąd model bierze konkretne nazwy i linki, opisałem szerzej w tekście analiza odpowiedzi AI i rozbiór cytowań. Share of voice to warstwa wyżej: agregat z wielu takich rozbiorów.

Dobór promptów reprezentatywnych dla rynku

Najczęstszy błąd polega na tym, że zestaw promptów powstaje z listy słów kluczowych z Search Console. Modele nie dostają zapytań w formie fraz, tylko w formie pytań i zadań. Prompt „najlepsze narzędzie do audytu SEO dla małej agencji” ma inną dynamikę niż fraza „audyt SEO narzędzia”.

Zestaw budujemy warstwowo. Warstwa pierwsza to prompty kategorii, w których marka w ogóle chce być obecna („jakie narzędzia do monitoringu widoczności w AI warto rozważyć”). Warstwa druga to prompty problemowe, opisujące sytuację użytkownika bez nazywania kategorii („mam sklep i nie wiem, czy ChatGPT poleca moje produkty, od czego zacząć”). Warstwa trzecia to prompty porównawcze, w których model jest wprost proszony o zestawienie dostawców. Warstwa czwarta to prompty markowe, sprawdzające, co model mówi o marce zapytany o nią wprost. Ta ostatnia warstwa nie wchodzi do wskaźnika, bo z definicji dałaby udział bliski stu procent, ale jest cenna w części jakościowej raportu.

Proporcje, które sprawdzają się w praktyce: około 40 procent promptów kategoryjnych, 35 procent problemowych, 25 procent porównawczych. Każdy prompt zapisujemy dosłownie, w jednym pliku, z datą dodania. Zestaw jest zamrożony: dopisywanie promptów w trakcie serii unieważnia porównanie z poprzednim pomiarem. Jeżeli rynek się zmienia i zestaw musi urosnąć, robimy to na starcie nowego kwartału i przez jeden pomiar raportujemy obie wersje równolegle.

Wielkość próby i powtórzenia

Odpowiedzi modeli są niedeterministyczne. Ten sam prompt zadany trzy razy potrafi dać trzy różne listy marek, zwłaszcza w ogonie zestawienia. Dlatego pojedynczy przebieg nie jest pomiarem, tylko anegdotą.

Minimum operacyjne to 30 promptów po 3 powtórzenia na model, czyli 90 odpowiedzi na model. Przy dwóch modelach daje to 180 odpowiedzi na rundę, co jeden analityk ogarnia w pół dnia, a przy prostym skrypcie w kilkanaście minut. Przy takiej próbie różnice rzędu 2 do 3 punktów procentowych mieszczą się w szumie i nie należy ich raportować jako zmiany. Realnie interpretowalny ruch zaczyna się od około 5 punktów procentowych.

Powtórzenia mają sens tylko wtedy, gdy są wykonane w osobnych, czystych sesjach. Zadanie tego samego pytania trzy razy w jednym wątku mierzy pamięć kontekstu, a nie skłonność modelu do wymieniania marki. Warto też ustalić i zapisać jedną wersję modelu na rundę, bo podbicie wersji potrafi przestawić wynik mocniej niż cała roczna praca contentowa.

Wzór i sposób liczenia

Podstawowa formuła jest prosta:

SOV = (liczba odpowiedzi zawierających markę / liczba wszystkich rozpoznanych wystąpień marek) × 100%

Gdzie mianownik sumuje się po wszystkich markach z listy konkurencyjnej plus koszyk „inne”. Przykład dla 90 odpowiedzi:

Zwróćmy uwagę, że suma wystąpień (140) jest większa niż liczba odpowiedzi (90), bo w jednej odpowiedzi model wymienia zwykle kilka marek. To poprawne: mierzymy udział w przestrzeni rekomendacji, a nie odsetek odpowiedzi.

Obok wskaźnika głównego warto liczyć dwa uzupełniające. Pierwszy to zasięg (reach): odsetek promptów, przy których marka pojawiła się choć raz w którymkolwiek powtórzeniu. Drugi to stabilność: odsetek promptów, przy których marka pojawiła się we wszystkich powtórzeniach. Marka z zasięgiem 40 procent i stabilnością 10 procent jest widoczna przypadkowo, marka z zasięgiem 25 procent i stabilnością 20 procent ma trwałe zakotwiczenie w kilku tematach. Ta druga sytuacja jest zdrowsza i inaczej się ją rozwija.

Porównanie z konkurencją

Lista konkurentów nie może pochodzić z prezentacji zarządu, tylko z samych odpowiedzi. Pierwszą rundę traktujemy eksploracyjnie: zbieramy wszystkie nazwy, jakie modele wymieniły, i dopiero na tej podstawie zamykamy listę do 5 do 8 podmiotów plus koszyk „inne”. Bardzo często okazuje się, że w przestrzeni AI konkurencją są zupełnie inne firmy niż w wynikach organicznych, na przykład agregatory, porównywarki albo duże portale branżowe, które model traktuje jak bezpieczne źródło.

Przy analizie konkurentów przydaje się to samo podejście, co przy ocenie cudzych aktywów w sieci: sprawdzenie historii domeny, profilu treści i tego, czy autorytet jest zbudowany, czy odziedziczony. Praktyczna lista kroków znajduje się w tekście o tym, jak wygląda analiza domeny przed zakupem, i większość z niej stosuje się także do audytu konkurenta, którego model cytuje częściej niż nas.

Częstotliwość pomiaru i trend

Pomiar miesięczny to rozsądny domyślny rytm. Tygodniowy generuje szum i kosztuje więcej, niż daje. Kwartalny gubi moment, w którym zmiana w modelu przestawia całą kategorię, a takie przestawienia zdarzają się kilka razy w roku.

W raporcie trendu trzeba oddzielić trzy przyczyny zmiany wyniku, bo mylenie ich prowadzi do fałszywych wniosków. Pierwsza to realna zmiana widoczności marki, efekt publikacji, wzmianek w mediach, wpisów w bazach branżowych. Druga to zmiana wersji modelu, którą rozpoznaje się po tym, że przesuwają się udziały wszystkich marek naraz, a nie tylko naszej. Trzecia to zmiana zestawu promptów, której po prostu nie wolno robić w środku serii. Dlatego w arkuszu z wynikami trzymamy kolumnę „wersja modelu” i kolumnę „wersja zestawu promptów” obok każdej rundy.

Praktyczna wskazówka: pierwsze trzy rundy traktujemy jako budowanie linii bazowej i nie wyciągamy z nich wniosków o skuteczności działań. Dopiero czwarty pomiar ma tło, względem którego cokolwiek znaczy.

Raport dla klienta lub zarządu

Raport, który działa, mieści się na jednej stronie i ma cztery elementy. Na górze jeden wykres słupkowy z udziałami wszystkich marek w bieżącej rundzie. Pod nim linia trendu udziału klienta z ostatnich rund, z zaznaczoną datą zmiany wersji modelu, jeśli taka była. Dalej tabela z zasięgiem i stabilnością, bo to ona tłumaczy, dlaczego wskaźnik główny się rusza. Na końcu trzy do pięciu przykładowych cytatów z odpowiedzi, dosłownie skopiowanych, w tym co najmniej jeden, w którym model wymienia konkurenta zamiast klienta.

Te cytaty są najważniejszą częścią dokumentu, mimo że nie są liczbą. To one przekonują zarząd, że problem jest realny, i jednocześnie pokazują, jakiego typu treści brakuje. Jeżeli model uzasadnia rekomendację konkurenta zdaniem o publicznie dostępnym cenniku, a nasz klient cennika nie publikuje, mamy gotowy wniosek operacyjny bez żadnej dodatkowej analizy.

Warto też pilnować, żeby raport nie obiecywał więcej, niż wskaźnik potrafi udźwignąć. Share of voice w AI mierzy obecność w rekomendacjach, a nie ruch ani sprzedaż. Powiązanie z przychodem wymaga osobnego modelowania i zwykle danych z kilku kwartałów. Dokumentacja Google na temat sposobu prezentowania treści w wynikach wyszukiwania i funkcjach AI jest opisana w Google Search Central i warto się do niej odwoływać, gdy klient pyta o gwarancje.

Na koniec kwestia higieny: cały pomiar (prompty, odpowiedzi, wersje modeli, arkusz z liczeniem) archiwizujemy w formie, którą da się odtworzyć za pół roku. Wskaźnik, którego nie da się przeliczyć drugi raz z tych samych danych, jest opinią, a nie pomiarem.

FAQ