Robots.txt i sitemap.xml: konfiguracja indeksowania

Konfiguracja robots.txt i sitemap.xml w celu optymalizacji indeksowania

Jeden znak w pliku robots.txt może zablokować kluczowe sekcje witryny, co prowadzi do spadku ruchu. W ostatnim projekcie katalog produktów stał się niedostępny dla robotów wyszukiwarek z powodu błędu w pliku — ruch organiczny spadł o jedną trzecią w ciągu dwóch tygodni. Plik robots.txt zarządza dostępem robotów indeksujących, a sitemap.xml określa priorytety skanowania. Te pliki decydują o efektywności indeksowania w Google i Yandex.

Dyrektywy i składnia robots.txt

Plik robots.txt znajduje się w katalogu głównym witryny i zawiera instrukcje dla robotów: Googlebot, YandexBot i innych. Główne dyrektywy:

• User-agent: określa bota. User-agent: * — dla wszystkich, User-agent: Googlebot — tylko Google.
• Disallow: zabrania dostępu do ścieżki. Disallow: /admin/ blokuje katalog, Disallow: /search? — adresy URL z parametrami wyszukiwania.
• Allow: zezwala wewnątrz zabronionego katalogu. Przykład:

User-agent: *
Disallow: /katalog/
Allow: /katalog/strona-glowna/

• Sitemap: link do mapy witryny, poza blokami User-agent.

Ukośnik na końcu Disallow wskazuje na katalog. Bez ukośnika — dowolny adres URL z prefiksem. Plik robots.txt nie blokuje indeksowania całkowicie: zewnętrzne linki mogą dodać stronę do indeksu z ostrzeżeniem. Aby wykluczyć indeksowanie, użyj metatagu lub autoryzacji.

Przykład podstawowego robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /koszyk/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Allow: /
Sitemap: https://strona.pl/sitemap.xml

Ten szablon zamyka sekcje administracyjne i parametry filtrów.

Różnice w obsłudze dyrektyw

| Dyrektywa | Google | Yandex |

|---------------|--------|--------|

| User-agent | ✅ | ✅ |

| Disallow | ✅ | ✅ |

| Allow | ✅ | ✅ |

| Sitemap | ✅ | ✅ |

| Host | ❌ | ✅ |

| Crawl-delay | ❌ | ✅ |

| Clean-param | ❌ | ✅ |

Dyrektywa Host dla Yandex określa główne lustro: Host: https://strona.pl. Google ją ignoruje — użyj Search Console.

Umieszczenie i weryfikacja robots.txt

• Utwórz plik robots.txt w edytorze tekstowym (VS Code, Notepad++).
• Prześlij do katalogu głównego: https://strona.pl/robots.txt.
• Dla CMS:

- WordPress: Yoast SEO lub FTP.

- Bitrix: menedżer plików panelu administracyjnego.

- Tilda/Wix: ustawienia panelu.

• Sprawdź dostępność: otwórz adres URL w przeglądarce (oczekuj tekstu, nie 404/500).
• Testuj: Google Search Console (Skanowanie), Yandex.Webmaster (Analiza robots.txt).

Błędy składni prowadzą do ignorowania linii lub nieprzewidywalnego zachowania.

Struktura sitemap.xml

Plik sitemap.xml wymienia ważne adresy URL w celu ustalenia priorytetów skanowania. Przydatny dla witryn z >100 stronami, częstymi aktualizacjami lub stronami osieroconymi.

Podstawowa struktura:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://strona.pl/</loc>
    <lastmod>2026-01-15</lastmod>
    <changefreq>daily</changefreq>
    <priority>1.0</priority>
  </url>
</urlset>

Tagi:

• loc: obowiązkowy adres URL.
• lastmod: rzeczywista data modyfikacji.
• changefreq: częstotliwość (daily/weekly; Google ignoruje, Yandex uwzględnia).
• priority: 0.0–1.0 dla kolejności.

Ograniczenia: 50 000 adresów URL, 50 MB. Dla większych — sitemap-index:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://strona.pl/sitemap-pages.xml</loc>
  </sitemap>
</sitemapindex>

Generowanie sitemap.xml

• CMS/wtyczki: WordPress (Yoast), Bitrix (Marketing). Automatyczne aktualizacje, ale sprawdzaj zbędne adresy URL.
• Generatorzy online: dla statycznych witryn, ręczna aktualizacja.
• Skrypty: dla SPA (Next.js + next-sitemap). Generuje podczas budowania.

Umieść w katalogu głównym lub wskaż w robots.txt.

Integracja plików

• Dodaj do robots.txt: Sitemap: https://strona.pl/sitemap.xml.
• Prześlij do Google Search Console (Mapy witryny) i Yandex.Webmaster (Indeksowanie).
• Sprawdź: adresy URL w sitemap nie powinny być w Disallow, status 200 OK.

Rozszerzone sitemap

Dla mediów:

Obrazy:

<url>
  <loc>https://strona.pl/artykul/</loc>
  <image:image>
    <image:loc>https://strona.pl/images/zdjecie.jpg</image:loc>
    <image:title>Opis</image:title>
  </image:image>
</url>

Wideo (fragment):

<url>
  <loc>https://strona.pl/strona-wideo/</loc>
  <video:video>
    <video:thumbnail_loc>https://strona.pl/miniatura.jpg</video:thumbnail_loc>
  </video:video>
</url>

Poprawia indeksowanie w Google Grafika i Yandex.Obrazy.

Co jest ważne

• Plik robots.txt oszczędza budżet skanowania, ale nie zastępuje noindex.
• Sitemap przyspiesza wykrywanie nowych stron i porządkuje strukturę witryny.
• Zawsze sprawdzaj konflikty: adresy URL w sitemap muszą być dostępne.
• Uwzględniaj różnice Google/Yandex w dyrektywach (Host, Clean-param).
• Dla dużych witryn używaj sitemap-index i rozszerzeń mediów.

— Editorial Team