Robots.txt a sitemap.xml: nastavení indexace

Nastavení robots.txt a sitemap.xml pro optimalizaci procházení webu

Jeden znak v robots.txt může zablokovat klíčové sekce webu, což vede k poklesu návštěvnosti. V nedávném projektu byla adresářová struktura produktového katalogu nedostupná pro vyhledávací roboty kvůli chybě v souboru — organický provoz se snížil o třetinu za dva týdny. Robots.txt řídí přístup procházejících robotů, zatímco sitemap.xml určuje priority procházení. Tyto soubory určují efektivitu indexace v Googlu a Seznamu.

Direktivy a syntaxe robots.txt

Robots.txt se umisťuje do kořene webu a obsahuje instrukce pro procházející roboty: Googlebot, YandexBot a další. Hlavní direktivy:

• User-agent: určuje robota. User-agent: * — pro všechny, User-agent: Googlebot — pouze Google.
• Disallow: zakazuje cestu. Disallow: /admin/ blokuje adresář, Disallow: /search? — URL s parametry vyhledávání.
• Allow: povoluje uvnitř zakázaného adresáře. Příklad:

User-agent: *
Disallow: /katalog/
Allow: /katalog/domovska-stranka/

• Sitemap: odkaz na mapu webu, mimo bloky User-agent.

Lomítko na konci Disallow označuje adresář. Bez lomítka — jakákoli URL s předponou. Robots.txt úplně neblokuje indexaci: externí odkazy mohou stránku přidat do indexu s varováním. Pro noindex použijte meta tag nebo autorizaci.

Příklad základního robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /kosik/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Allow: /
Sitemap: https://site.cz/sitemap.xml

Tato šablona uzavírá servisní sekce a parametry filtrů.

Rozdíly v podpoře direktiv

| Direktiva | Google | Seznam |

|---------------|--------|--------|

| User-agent | ✅ | ✅ |

| Disallow | ✅ | ✅ |

| Allow | ✅ | ✅ |

| Sitemap | ✅ | ✅ |

| Host | ❌ | ✅ |

| Crawl-delay | ❌ | ✅ |

| Clean-param | ❌ | ✅ |

Direktiva Host pro Seznam určuje hlavní zrcadlo: Host: https://site.cz. Google ji ignoruje — použijte Search Console.

Umístění a kontrola robots.txt

• Vytvořte soubor robots.txt v textovém editoru (VS Code, Notepad++).
• Nahrajte do kořene: https://site.cz/robots.txt.
• Pro CMS:

- WordPress: Yoast SEO nebo FTP.

- Bitrix: správce souborů v administraci.

- Tilda/Wix: nastavení v panelu.

• Zkontrolujte dostupnost: otevřete URL v prohlížeči (očekávejte text, ne 404/500).
• Testujte: Google Search Console (Procházení), Seznam Nástroje pro webmastery (Analýza robots.txt).

Chyby syntaxe vedou k ignorování řádků nebo nepředvídatelnému chování.

Struktura sitemap.xml

Sitemap.xml uvádí důležité URL pro upřednostnění procházení. Užitečné pro weby s >100 stránkami, častými aktualizacemi nebo osamocenými stránkami.

Základní struktura:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://site.cz/</loc>
    <lastmod>2026-01-15</lastmod>
    <changefreq>daily</changefreq>
    <priority>1.0</priority>
  </url>
</urlset>

Tagy:

• loc: povinná URL.
• lastmod: skutečné datum změny.
• changefreq: frekvence (daily/weekly; Google ignoruje, Seznam bere v úvahu).
• priority: 0.0–1.0 pro pořadí.

Omezení: 50 000 URL, 50 MB. Pro více — sitemap-index:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://site.cz/sitemap-pages.xml</loc>
  </sitemap>
</sitemapindex>

Generování sitemap.xml

• CMS/pluginy: WordPress (Yoast), Bitrix (Marketing). Automatická aktualizace, ale kontrolujte nadbytečné URL.
• Online generátory: pro statické weby, ruční aktualizace.
• Skripty: pro SPA (Next.js + next-sitemap). Generuje při sestavení.

Umístěte do kořene nebo uveďte v robots.txt.

Integrace souborů

• Přidejte do robots.txt: Sitemap: https://site.cz/sitemap.xml.
• Nahrajte do Google Search Console (Mapy webu) a Seznam Nástroje pro webmastery (Indexování).
• Zkontrolujte: URL v sitemap by neměly být v Disallow, stav 200 OK.

Rozšířené sitemap

Pro média:

Obrázky:

<url>
  <loc>https://site.cz/clanek/</loc>
  <image:image>
    <image:loc>https://site.cz/images/fotka.jpg</image:loc>
    <image:title>Popis</image:title>
  </image:image>
</url>

Videa (úryvek):

<url>
  <loc>https://site.cz/video-stranka/</loc>
  <video:video>
    <video:thumbnail_loc>https://site.cz/nahled.jpg</video:thumbnail_loc>
  </video:video>
</url>

Zlepšuje indexaci v Google Obrázky a Seznam Obrázky.

Co je důležité

• Robots.txt šetří rozpočet procházení, ale nenahrazuje noindex.
• Sitemap urychluje objevování nových stránek a strukturování webu.
• Vždy kontrolujte konflikty: URL v sitemap musí být dostupné.
• Berte v úvahu rozdíly Google/Seznam v direktivách (Host, Clean-param).
• Pro velké weby používejte sitemap-index a mediální rozšíření.

— Editorial Team