5 decyzji przed ustawieniem robots.txt dla agentów AI
Zanim wpuścisz agentów AI na stronę, zdecyduj: po co to robisz, jakie treści pokażesz, kogo wpuszczasz, w jakich limitach i jak zmierzysz efekt. Prosto, bez kodu.
Najważniejsze wnioski
- Robots.txt to wskazówka dla botów, nie kłódka. Ustal zasady i łącz je z innymi zabezpieczeniami.
- Zdefiniuj biznesowy cel: sprzedaż, odpowiedzi na FAQ lub leady — wtedy łatwiej dobrać treści i pomiar.
- Buduj allowlistę znanych agentów AI i ustaw limity wejść (tempo, godziny, budżet).
- Mierz efekt: UTM w linkach, dedykowane strony/FAQ, kody rabatowe i cele w analityce.
Ruch z odpowiedzi AI rośnie, a agenci AI coraz częściej czytają strony za użytkowników. Jednocześnie, według lipcowych zapowiedzi, część sieci domyślnie zablokuje niektóre boty bez Twojej zgody. To dobry moment, by świadomie ustawić robots.txt — prosto, bez kodu.
Co się zmienia i o co tu chodzi
Agent AI crawler to bot (automat), który w czasie rzeczywistym czyta stronę, aby odpowiedzieć użytkownikowi. Myśli o nim jak o asystencie, który zagląda na Twoją witrynę zamiast klienta.
Robots.txt to plik z zasadami dla botów. To jak kartka na drzwiach: „tu wolno, tu nie”. To wskazówka, nie kłódka — porządne boty jej słuchają, część nieposłusznych może ją zignorować.
Dlaczego teraz? Według zapowiedzi z 1 lipca Cloudflare planuje od 15 września domyślnie blokować część agentowych crawlerów na fragmencie swojej sieci, dopóki właściciel strony nie wyrazi zgody. Sprawdź aktualny status u dostawcy, ale trend jest jasny: najpierw zgoda, potem dostęp. Wniosek: lepiej świadomie określić zasady już dziś.
5 decyzji przed ustawieniem robots.txt
Zamiast technikaliów, podejdź do tematu biznesowo. Oto pięć prostych decyzji, które uporządkują politykę wobec agentów AI.
- Cel: co ma się wydarzyć po odwiedzinach bota? Sprzedaż, szybkie odpowiedzi na FAQ, czy pozyskanie leada (kontakt do sprzedaży)? Jasny cel podpowiada, które treści udostępnić i jak mierzyć wynik.
- Zakres treści: co pokazujesz, a czego nie. Zero danych osobowych, poufnych cenników, paneli klientów i dokumentów wewnętrznych. Daj dostęp do FAQ, kart produktów, polityk gwarancji, regulaminów, cenników publicznych. Tre
- Kogo wpuszczasz: stwórz allowlistę (lista kogo wpuszczamy) znanych agentów AI. Zacznij od dużych graczy i tych, z których odpowiedzi widzisz ruch lub sprzedaż. Resztę blokuj lub ogranicz do minimum.
- Limity i bezpieczeństwo: ustaw tempo wejść (żeby bot nie spowalniał strony), godziny (np. nocne okna), oraz "budżet" — ile stron bot może odwiedzić dziennie. Dodaj dodatkowe zabezpieczenia: blokady IP dla nieznanych bot
- Pomiar efektu: oznaczaj linki UTM (dopisek do linku typu ?utm_source=agent), przygotuj dedykowane FAQ/landing z prostym CTA, użyj kodów rabatowych tylko dla agentów. Ustal w analityce cele: klik w telefon, lead, koszyk,
Plan na 7 dni: od polityki do pomiaru
Masz już decyzje? Złóż to w prosty plan i działaj małymi krokami.
Nie potrzebujesz programisty. Wystarczą dostęp do CMS, analityki i podstawowe ustawienia u hostingu/Cloudflare.
- Dzień 1–2: spisz cel i zakres treści. Lista „pokazujemy/nie pokazujemy”.
- Dzień 3: zrób allowlistę znanych agentów. Resztę traktuj ostrożnie.
- Dzień 4: ustal limity (tempo, godziny, dzienny budżet odwiedzin).
- Dzień 5: przygotuj dedykowane FAQ/landing z jasnym CTA i linkami z UTM.
- Dzień 6: test A/B na małej sekcji witryny. Porównaj konwersję i obciążenie serwera.
- Dzień 7: włącz zasady globalnie, ustaw alerty w analityce i w monitoringu dostępności.
Robots.txt dla agentów AI to dziś decyzja biznesowa: kto może wejść, na jakie treści, w jakich limitach i z jakim wynikiem. Uporządkuj te pięć kroków, a zyskasz ruch z odpowiedzi AI bez ryzyka dla danych. Chcesz przejść to w 60 minut? Umów krótką konsultację — pomogę ustawić politykę i pomiar.
Najczęstsze pytania
Czy robots.txt naprawdę chroni treści?
Robots.txt to tylko wskazówka dla botów. Dobre boty jej przestrzegają, ale złośliwe mogą ją zignorować. Dlatego łącz robots.txt z innymi metodami: blokady IP, reguły w firewallu aplikacyjnym (WAF — „bramka ochronna”), ochrona stref zalogowanych.
Skąd wziąć listę agentów do allowlisty?
Z dokumentacji dostawców i z logów serwera/Cloudflare. Szukaj nazw „User-Agent” w ruchu, porównaj z oficjalnymi opisami (np. stron pomocy producentów). Wpuszczaj tylko zweryfikowanych, dla reszty ustaw twardsze zasady.
Czy blokowanie agentów AI zaszkodzi SEO?
Nie musi. Klasyczne SEO to głównie Googlebot/Bingbot. Możesz mieć inne reguły dla agentów AI niż dla zwykłych wyszukiwarek. Testuj na wybranych podstronach i monitoruj ruch oraz konwersje przed decyzją globalną.
Jak mierzyć przychód z ruchu agentów i AEO?
Dodaj UTM do linków, użyj dedykowanych kodów rabatowych, ustaw cele w analityce (lead, koszyk, zakup). Porównuj konwersję i wartość koszyka z kanału „AI/agents” do innych źródeł. To daje jasny obraz ROI.
Czym jest AEO i GEO w prostych słowach?
AEO (Answer Engine Optimization) to przygotowanie treści tak, by trafiały do odpowiedzi AI w wyszukiwarkach. GEO to podobne podejście do „silników generatywnych”. W praktyce chodzi o ruch i sprzedaż z odpowiedzi AI, nie tylko z linków.