Plik llms.txt obiecuje rzecz prostą i kuszącą: udostępnij modelom językowym uporządkowaną mapę serwisu w markdownie, a częściej zobaczysz swoją domenę w odpowiedziach ChatGPT. Wdrożenie kosztuje pół godziny, więc argument „co szkodzi spróbować” pada w każdej rozmowie o widoczności w AI. Postanowiliśmy sprawdzić to nie na cudzych wykresach, tylko na dwóch własnych serwisach, z grupą kontrolną i sześcioma tygodniami pomiaru.
Hipoteza i czym jest llms.txt
Specyfikacja llms.txt powstała jako propozycja społecznościowa, a nie standard żadnej wyszukiwarki. Zakłada, że w katalogu głównym domeny umieszczasz plik tekstowy z krótkim opisem serwisu i listą najważniejszych adresów, każdy z jednozdaniowym streszczeniem. Model, zamiast przedzierać się przez nawigację, HTML i skrypty, dostaje gotowy spis treści.
Nasza hipoteza robocza brzmiała ostrożnie: jeśli plik faktycznie trafia do pipeline’u zbierania danych, powinniśmy zobaczyć wzrost liczby cytowań serwisu w odpowiedziach ChatGPT na zapytania z naszej niszy, a przynajmniej wzrost ruchu botów AI po adresach wymienionych w pliku. Hipoteza zerowa: nic się nie zmieni, a wszystkie wahania zmieszczą się w szumie tygodniowym.
Warto od razu zaznaczyć, czego nie testowaliśmy. Nie sprawdzaliśmy wpływu na pozycje w klasycznych wynikach Google, bo tu stanowisko jest znane i publiczne. Nie testowaliśmy też Perplexity ani Gemini w sposób systematyczny, choć zbieraliśmy dane pomocniczo.
Metodyka: dwa serwisy, grupa kontrolna
Do testu wybraliśmy dwa serwisy o zbliżonym profilu: podobna tematyka B2B, podobna liczba artykułów (odpowiednio 214 i 198 opublikowanych URL), zbliżony wiek domeny i porównywalny miesięczny ruch organiczny. Oba stały na domenach, które przeszły wcześniej pełny proces weryfikacji opisany w naszej analizie domeny przed zakupem, więc mieliśmy pewność, że nie ciągną za sobą historii spamowej, która mogłaby zaburzyć wyniki.
Serwis A dostał plik llms.txt z 60 najważniejszymi adresami, opisami sekcji i krótkim wprowadzeniem o tym, czym serwis się zajmuje. Serwis B, grupa kontrolna, nie dostał nic. Poza tą jedną zmianą zamroziliśmy wszystko: brak nowych publikacji, brak zmian w linkowaniu wewnętrznym, brak modyfikacji tytułów i meta opisów, brak działań link buildingowych. Zamrożenie publikacji na sześć tygodni było najdroższą częścią eksperymentu i jednocześnie warunkiem, żeby cokolwiek dało się z niego odczytać.
Okno pomiarowe: cztery tygodnie przed wdrożeniem jako baseline, potem sześć tygodni po wdrożeniu. Plik wgraliśmy w poniedziałek rano, żeby cały pierwszy tydzień pomiarowy był pełny.
Jak mierzyliśmy cytowania
Cytowanie zdefiniowaliśmy wąsko: nasza domena pojawia się jako klikalne źródło w odpowiedzi ChatGPT na konkretne zapytanie z naszej listy. Wzmianka o marce bez linku nie liczyła się jako cytowanie, choć notowaliśmy ją osobno.
Lista liczyła 120 zapytań: 60 dla serwisu A i 60 dla serwisu B, dobranych tak, aby odpowiadały tematom obecnym w obu serwisach. Każde zapytanie odpalaliśmy trzy razy w tygodniu, w tych samych godzinach, na czystych sesjach bez historii, z tej samej lokalizacji. Trzy powtórzenia to minimum, bo odpowiedzi modelu potrafią się różnić między uruchomieniami przy identycznym prompcie. Punktem pomiarowym była częstość cytowania, czyli liczba uruchomień z cytowaniem podzielona przez liczbę wszystkich uruchomień w danym tygodniu.
Równolegle prowadziliśmy pomiar drugiego rzędu: ruch botów AI w logach serwera. Filtrowaliśmy trafienia GPTBot, OAI-SearchBot i ClaudeBot według procedury, którą opisaliśmy przy okazji analizy logów pod boty AI. Ten pomiar był dla nas ważniejszy niż sam licznik cytowań, bo pokazuje zachowanie infrastruktury, a nie tylko wynik na końcu długiego łańcucha.
Wyniki tydzień po tygodniu
Poniższa tabela pokazuje częstość cytowania w procentach uruchomień, dla serwisu testowego i kontrolnego.
| Tydzień | Serwis A (llms.txt) | Serwis B (kontrola) | Różnica |
|---|---|---|---|
| Baseline (śr. 4 tyg.) | 11,7% | 13,1% | -1,4 pkt |
| Tydzień 1 | 12,2% | 12,8% | -0,6 pkt |
| Tydzień 2 | 10,6% | 13,9% | -3,3 pkt |
| Tydzień 3 | 13,3% | 12,2% | +1,1 pkt |
| Tydzień 4 | 11,1% | 14,4% | -3,3 pkt |
| Tydzień 5 | 12,8% | 13,3% | -0,5 pkt |
| Tydzień 6 | 12,2% | 12,8% | -0,6 pkt |
Średnia po wdrożeniu wyniosła 12,0% dla serwisu A wobec 11,7% w baseline. To wzrost o 0,3 punktu procentowego. W tym samym czasie grupa kontrolna, która nie dostała żadnego pliku, urosła z 13,1% do 13,2%. Innymi słowy: obie krzywe stały w miejscu, a ich tygodniowe wahania (od 10,6% do 14,4%) były wielokrotnie większe niż jakikolwiek efekt, który dałoby się przypisać wdrożeniu.
Przy 60 zapytaniach i trzech powtórzeniach tygodniowo mówimy o 180 obserwacjach na serwis na tydzień. To wystarczy, żeby wykryć różnicę rzędu kilku punktów procentowych, ale zdecydowanie za mało, żeby ktokolwiek uczciwie ogłosił zwycięstwo przy 0,3 punktu. Nasz wniosek statystyczny jest więc jednoznaczny: nie odrzuciliśmy hipotezy zerowej.
Co zmieniło się poza cytowaniami
Najciekawsze dane przyszły z logów, choć nie w kierunku, na który liczyliśmy. Sam plik llms.txt był pobierany rzadko: 14 razy w ciągu sześciu tygodni, głównie przez crawlery narzędzi monitorujących widoczność w AI, a nie przez boty modeli. GPTBot sięgnął po niego dwukrotnie w pierwszym tygodniu i nie wrócił.
Adresy wymienione w pliku nie były crawlowane częściej niż adresy pominięte. Rozkład trafień GPTBot na serwisie A rozłożył się mniej więcej proporcjonalnie do liczby linków wewnętrznych prowadzących do danego URL, co jest dokładnie tym wzorcem, który widzieliśmy przed wdrożeniem. Ruch botów AI wzrósł w tym okresie na obu serwisach o kilkanaście procent, więc był to trend rynkowy, a nie efekt naszej zmiany.
Zanotowaliśmy jeden efekt uboczny, o którym warto wiedzieć: plik zaczął pojawiać się w raportach narzędzi audytowych jako zasób bez odpowiednich nagłówków cache, a na jednym z serwisów wygenerował fałszywy alert monitoringu przy zmianie struktury URL. To drobiazgi, ale pokazują, że „zero kosztu” jest lekkim uproszczeniem.
Interpretacja i ograniczenia testu
Wynik pokrywa się z tym, co publicznie mówią przedstawiciele wyszukiwarki. Google wprost potwierdziło, że plik llms.txt nie daje nic w wyszukiwarce, a nasz test sugeruje, że po stronie ChatGPT też nie widać mechanizmu, który by go premiował. Spójna jest z tym również obserwacja, jak wąski jest realnie fragment strony, który trafia do indeksu modelu: przy takim poziomie kompresji dodatkowy plik z listą adresów po prostu nie ma gdzie zadziałać, co szerzej opisaliśmy przy badaniu indeksu ChatGPT.
Ograniczenia naszego eksperymentu są realne i trzeba je wymienić uczciwie. Po pierwsze, dwa serwisy to próba minimalna, dobra do wykrycia dużego efektu, bezradna wobec małego. Po drugie, sześć tygodni może nie wystarczyć, jeśli hipotetyczny mechanizm działa z opóźnieniem wynikającym z cyklu przetrenowania modelu. Po trzecie, badaliśmy nisze B2B o umiarkowanej konkurencji; w tematach medycznych czy finansowych dobór źródeł rządzi się innymi regułami. Po czwarte, mierzyliśmy jeden model i jeden interfejs.
Czego wynik nie oznacza: nie dowodzi, że plik szkodzi, ani że nigdy nie zacznie działać. Dowodzi tylko, że w naszym oknie pomiarowym, w naszej niszy, nie zrobił różnicy większej niż tygodniowy szum.
Czy warto wdrażać mimo wszystko
Nasza odpowiedź jest warunkowa. Jeśli traktujesz llms.txt jako tani zakład o przyszłość i masz go gotowego w piętnaście minut, wdrożenie nie zaszkodzi: utrzymuj go jako artefakt generowany automatycznie z sitemapy, żeby nie zestarzał się w tydzień. Jeśli natomiast plik miałby zająć miejsce w kolejce przed czymś, co daje mierzalny efekt, odłóż go bez wyrzutów sumienia.
Rzeczy, które w naszych testach realnie ruszały widocznością w odpowiedziach AI, to wciąż fundamenty: jednoznaczna struktura nagłówków, konkretne definicje w pierwszym akapicie sekcji, dane liczbowe z podaną metodyką oraz dostępność techniczna dla crawlerów. Standardowa dokumentacja robots.txt w Google Search Central pozostaje ważniejszym plikiem tekstowym w katalogu głównym niż cokolwiek, co pojawiło się w ostatnich dwóch latach.
Jeśli chcesz powtórzyć nasz test u siebie, trzy rady. Zamroź publikacje, bo bez tego nie odróżnisz efektu pliku od efektu nowych treści. Prowadź grupę kontrolną, nawet jeśli to bolesne organizacyjnie. I zapisuj surowe odpowiedzi modelu, a nie tylko licznik cytowań, bo pół roku później to właśnie w nich znajdziesz kontekst, którego dziś nie umiesz jeszcze nazwać.
FAQ
Czy llms.txt wpływa na pozycje w Google?
Nie. Google publicznie potwierdziło, że nie używa tego pliku w wyszukiwarce, a nasz eksperyment nie testował pozycji organicznych, bo w tym zakresie stanowisko jest jednoznaczne i nie było czego weryfikować.
Jak długo trzeba czekać na efekt llms.txt?
W naszym teście sześć tygodni nie pokazało żadnej zmiany, a plik przestał być pobierany przez GPTBot już po pierwszym tygodniu. Jeśli mechanizm miałby działać z dużym opóźnieniem, potrzebny byłby test kilkumiesięczny na większej próbie serwisów.
Czy warto dodać llms.txt do nowego serwisu?
Można, pod warunkiem że generujesz go automatycznie i nie kosztuje to czasu odebranego innym zadaniom. Traktuj to jako tani zakład o przyszłość, a nie jako element strategii widoczności w AI.
Ile adresów powinien zawierać plik llms.txt?
W naszym teście umieściliśmy 60 najważniejszych adresów z opisami. Specyfikacja nie narzuca limitu, ale plik ma być czytelnym spisem treści, więc lista licząca setki pozycji mija się z jego celem.
Jak zmierzyć cytowania własnej domeny w ChatGPT?
Zdefiniuj listę zapytań pokrywających tematy serwisu, odpalaj je wielokrotnie w stałych odstępach na czystych sesjach i licz udział uruchomień, w których domena pojawia się jako klikalne źródło. Równolegle analizuj logi serwera pod kątem trafień GPTBot i OAI-SearchBot.
Czy grupa kontrolna jest konieczna w takim teście?
Tak. Widoczność w odpowiedziach AI zmienia się sama z tygodnia na tydzień o kilka punktów procentowych. Bez serwisu kontrolnego przypiszesz naturalne wahanie swojemu wdrożeniu i wyciągniesz błędny wniosek.
