robots.txt pro AI crawlery: Kompletní průvodce GPTBot, ClaudeBot a PerplexityBot

Pravděpodobně máte robots.txt. Pravděpodobně je nastaven pro Google. A pravděpodobně jste vůbec neřešili, zda vás může indexovat ChatGPT nebo Perplexity.

Tato mezera je pro GEO zásadní — a přitom ji lze opravit za méně než hodinu.

Proč robots.txt hraje roli v GEO

Aby vás AI systémy mohly citovat, musejí váš obsah znát. A aby ho znaly, musejí ho jejich crawleri (indexovací roboti) navštívit a zpracovat.

Každý major AI systém má vlastního crawlera:

| AI systém | Crawler | User-agent | |---|---|---| | ChatGPT (OpenAI) | GPTBot | GPTBot | | ChatGPT browsing | ChatGPT-User | ChatGPT-User | | Perplexity AI | PerplexityBot | PerplexityBot | | Claude (Anthropic) | ClaudeBot | ClaudeBot, anthropic-ai | | Gemini (Google) | Google-Extended | Google-Extended | | Microsoft Copilot | Bingbot | Bingbot |

Pokud je některý z těchto crawlerů ve vašem robots.txt blokován — nebo pokud pro ně neexistuje explicitní direktiva — výsledek závisí na výchozím chování každého systému. A to nemusí být ve váš prospěch.

Jak zkontrolovat aktuální stav

Otevřete v prohlížeči vašweb.cz/robots.txt. Zkontrolujte:

1. Existuje direktiva User-agent: GPTBot? Pokud ne, GPTBot se řídí výchozím pravidlem (obvykle User-agent: *)
2. Je povolení explicitní (Allow: /) nebo blokování (Disallow: /)?
3. Jsou GPTBot a ostatní AI crawleři blokováni v rámci obecného User-agent: * s Disallow: /?

Pokud váš web používá bezpečnostní plugin nebo WAF (Web Application Firewall), zkontrolujte i tam — některé konfigurace blokují neznámé crawlery paušálně.

Jak robots.txt pro AI správně nakonfigurovat

Doporučená konfigurace pro maximální AI přístupnost:

User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /private/

# OpenAI
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Anthropic
User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

# Google (Gemini)
User-agent: Google-Extended
Allow: /

# Cohere
User-agent: cohere-ai
Allow: /

Sitemap: https://vašweb.cz/sitemap.xml

Klíčové principy:

• Explicitní Allow: / pro každý AI crawler — nespoléhejte na výchozí chování
• Blokujte api/, admin/ a podobné sekce, které AI nemají indexovat
• Vždy uveďte odkaz na sitemap

Co blokovat, co ne

Nejčastější chyba: blokovat příliš mnoho. Druhá nejčastější chyba: blokovat příliš málo.

Blokujte AI crawlerům:

• /api/ — API endpointy nejsou obsah pro citování
• /admin/ — administrační rozhraní
• /checkout/, /cart/ — transakční stránky
• /user/, /account/ — uživatelské profily
• URL s dynamickými parametry (?session=, ?token=)

Nechte přístupné:

• Všechny obsahové stránky (blog, produkty, služby)
• About a Contact stránky
• FAQ a dokumentaci
• Landing pages

robots.txt nestačí — doplňte llms.txt

robots.txt říká AI crawlerům, kde smějí chodit. llms.txt jim říká, co tam najdou a jak o vás přemýšlet. Obojí je součást kompletní technické GEO konfigurace.

Typická chyba: firma opraví robots.txt, ale nenasadí llms.txt. Výsledek: AI crawler stránku navštíví, ale nezíská strukturovaný kontext o firmě — a musí si ho poskládat sám z různorodého obsahu.

Ověření po implementaci

Po změně robots.txt:

1. Google Search Console → „Test robots.txt" — ověření syntaxe
2. Přímý test: curl -A "GPTBot" https://vašweb.cz/robots.txt — simulace GPTBot požadavku
3. robots.txt tester (volně dostupné nástroje online) — kompletní validace
4. Zkontrolujte log serveru po 48–72 hodinách — zda se crawleři skutečně objevují

Výsledky v AI odpovědích nejsou okamžité — AI systémy re-indexují obsah v různých intervalech, typicky v řádu týdnů až měsíců.

Etická dimenze: proč blokovat AI crawlery?

Existují legitimní důvody k blokování AI crawlerů — zejména pro vydavatele obsahu, kteří nechtějí, aby jejich práce trénovala AI modely bez kompenzace.

Pro firmy, které chtějí být viditelné v AI odpovědích, je blokování kontraproduktivní. Nelze zároveň blokovat GPTBot a očekávat, že vás ChatGPT bude citovat.

Rozhodnutí blokovat nebo povolit AI crawlery je strategické — a mělo by být vědomé, ne výsledek opomenuté konfigurace.

Technická GEO konfigurace — robots.txt, llms.txt, schema markup — je součástí každého našeho GEO Auditu. Pokud si nejste jisti aktuálním stavem, rádi to zkontrolujeme za vás.