Robots.txt und sitemap.xml: Indexierung einrichten

Robots.txt und Sitemap.xml für optimiertes Crawling konfigurieren

Ein einzelnes Zeichen in der robots.txt kann wichtige Bereiche einer Website blockieren und zu einem Traffic-Einbruch führen. In einem aktuellen Projekt wurde ein Produktkatalog-Verzeichnis aufgrund eines Dateifehlers für Suchmaschinen-Crawler unzugänglich – der organische Traffic sank innerhalb von zwei Wochen um ein Drittel. Robots.txt regelt den Zugriff von Crawlern, während sitemap.xml die Scan-Prioritäten festlegt. Diese Dateien bestimmen die Indexierungseffizienz in Google und Yandex.

Direktiven und Syntax von robots.txt

Robots.txt wird im Stammverzeichnis der Website platziert und enthält Anweisungen für Crawler: Googlebot, YandexBot und andere. Wichtige Direktiven:

• User-agent: Gibt den Bot an. User-agent: * – für alle, User-agent: Googlebot – nur Google.
• Disallow: Verbietet einen Pfad. Disallow: /admin/ blockiert ein Verzeichnis, Disallow: /search? – URLs mit Suchparametern.
• Allow: Erlaubt innerhalb eines blockierten Verzeichnisses. Beispiel:

User-agent: *
Disallow: /katalog/
Allow: /katalog/hauptseite/

• Sitemap: Link zur Sitemap, außerhalb von User-agent-Blöcken.

Ein Schrägstrich am Ende von Disallow zeigt ein Verzeichnis an. Ohne Schrägstrich – jede URL mit dem Präfix. Robots.txt blockiert die Indexierung nicht vollständig: Externe Links können eine Seite mit einer Warnung zum Index hinzufügen. Für noindex verwenden Sie Meta-Tags oder Autorisierung.

Einfaches robots.txt-Beispiel:

User-agent: *
Disallow: /admin/
Disallow: /warenkorb/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Allow: /
Sitemap: https://site.de/sitemap.xml

Diese Vorlage blockiert Service-Bereiche und Filterparameter.

Unterschiede in der Direktiven-Unterstützung

| Direktive | Google | Yandex |

|---------------|--------|--------|

| User-agent | ✅ | ✅ |

| Disallow | ✅ | ✅ |

| Allow | ✅ | ✅ |

| Sitemap | ✅ | ✅ |

| Host | ❌ | ✅ |

| Crawl-delay | ❌ | ✅ |

| Clean-param | ❌ | ✅ |

Die Host-Direktive für Yandex setzt den primären Mirror: Host: https://site.de. Google ignoriert sie – verwenden Sie die Search Console.

Platzierung und Überprüfung von robots.txt

• Erstellen Sie die Datei robots.txt in einem Texteditor (VS Code, Notepad++).
• Laden Sie sie ins Stammverzeichnis hoch: https://site.de/robots.txt.
• Für CMS:

- WordPress: Yoast SEO oder FTP.

- Bitrix: Admin-Panel Dateimanager.

- Tilda/Wix: Panel-Einstellungen.

• Prüfen Sie die Zugänglichkeit: Öffnen Sie die URL im Browser (erwartet wird Text, nicht 404/500).
• Testen: Google Search Console (Crawling), Yandex.Webmaster (Robots.txt-Analyse).

Syntaxfehler führen zu ignorierten Zeilen oder unvorhersehbarem Verhalten.

Struktur von sitemap.xml

Sitemap.xml listet wichtige URLs für Crawl-Priorisierung auf. Nützlich für Websites mit >100 Seiten, häufigen Updates oder verwaisten Seiten.

Grundstruktur:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://site.de/</loc>
    <lastmod>2026-01-15</lastmod>
    <changefreq>täglich</changefreq>
    <priority>1.0</priority>
  </url>
</urlset>

Tags:

• loc: obligatorische URL.
• lastmod: tatsächliches Änderungsdatum.
• changefreq: Häufigkeit (täglich/wöchentlich; Google ignoriert, Yandex berücksichtigt).
• priority: 0.0–1.0 für Reihenfolge.

Einschränkungen: 50.000 URLs, 50 MB. Für mehr – Sitemap-Index:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://site.de/sitemap-seiten.xml</loc>
  </sitemap>
</sitemapindex>

Generierung von sitemap.xml

• CMS/Plugins: WordPress (Yoast), Bitrix (Marketing). Automatische Updates, aber auf unnötige URLs prüfen.
• Online-Generatoren: für statische Websites, manuelle Updates.
• Skripte: für SPAs (Next.js + next-sitemap). Generiert beim Build.

Im Stammverzeichnis platzieren oder in robots.txt angeben.

Datei-Integration

• Zu robots.txt hinzufügen: Sitemap: https://site.de/sitemap.xml.
• Bei Google Search Console (Sitemaps) und Yandex.Webmaster (Indexierung) einreichen.
• Überprüfen: URLs in der Sitemap sollten nicht in Disallow sein, Status 200 OK.

Erweiterte Sitemaps

Für Medien:

Bilder:

<url>
  <loc>https://site.de/artikel/</loc>
  <image:image>
    <image:loc>https://site.de/bilder/foto.jpg</image:loc>
    <image:title>Beschreibung</image:title>
  </image:image>
</url>

Video (Ausschnitt):

<url>
  <loc>https://site.de/video-seite/</loc>
  <video:video>
    <video:thumbnail_loc>https://site.de/thumb.jpg</video:thumbnail_loc>
  </video:video>
</url>

Verbessert die Indexierung in Google Bilder und Yandex.Bilder.

Wichtige Erkenntnisse

• Robots.txt spart Crawl-Budget, ersetzt aber kein noindex.
• Sitemap beschleunigt die Entdeckung neuer Seiten und strukturiert die Website.
• Immer Konflikte prüfen: URLs in der Sitemap müssen zugänglich sein.
• Google/Yandex-Unterschiede bei Direktiven (Host, Clean-param) berücksichtigen.
• Für große Websites Sitemap-Index und Medien-Erweiterungen verwenden.

— Editorial Team