Robots.txt y sitemap.xml: configuración de indexación

Configuración de robots.txt y sitemap.xml para un rastreo óptimo

Un solo carácter en robots.txt puede bloquear secciones clave de un sitio web, lo que lleva a una caída del tráfico. En un proyecto reciente, un directorio de catálogo de productos se volvió inaccesible para los rastreadores de motores de búsqueda debido a un error en el archivo: el tráfico orgánico disminuyó en un tercio en dos semanas. Robots.txt gestiona el acceso de los rastreadores, mientras que sitemap.xml establece las prioridades de escaneo. Estos archivos determinan la eficiencia de indexación en Google y Yandex.

Directivas y sintaxis de robots.txt

Robots.txt se coloca en la raíz del sitio y contiene instrucciones para los rastreadores: Googlebot, YandexBot y otros. Directivas clave:

• User-agent: especifica el bot. User-agent: * — para todos, User-agent: Googlebot — solo Google.
• Disallow: prohíbe una ruta. Disallow: /admin/ bloquea un directorio, Disallow: /search? — URLs con parámetros de búsqueda.
• Allow: permite dentro de un directorio bloqueado. Ejemplo:

User-agent: *
Disallow: /catalog/
Allow: /catalog/main-page/

• Sitemap: enlace al mapa del sitio, fuera de los bloques User-agent.

Una barra al final de Disallow indica un directorio. Sin barra—cualquier URL con el prefijo. Robots.txt no bloquea la indexación por completo: los enlaces externos pueden agregar una página al índice con una advertencia. Para noindex, use metaetiquetas o autorización.

Ejemplo básico de robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Allow: /
Sitemap: https://site.ru/sitemap.xml

Esta plantilla bloquea secciones de servicio y parámetros de filtro.

Diferencias en el soporte de directivas

| Directiva | Google | Yandex |

|---------------|--------|--------|

| User-agent | ✅ | ✅ |

| Disallow | ✅ | ✅ |

| Allow | ✅ | ✅ |

| Sitemap | ✅ | ✅ |

| Host | ❌ | ✅ |

| Crawl-delay | ❌ | ✅ |

| Clean-param | ❌ | ✅ |

La directiva Host para Yandex establece el espejo principal: Host: https://site.ru. Google la ignora—use Search Console.

Colocación y verificación de robots.txt

• Cree el archivo robots.txt en un editor de texto (VS Code, Notepad++).
• Cárguelo en la raíz: https://site.ru/robots.txt.
• Para CMS:

- WordPress: Yoast SEO o FTP.

- Bitrix: administrador de archivos del panel.

- Tilda/Wix: configuración del panel.

• Verifique accesibilidad: abra la URL en un navegador (espere texto, no 404/500).
• Pruebe: Google Search Console (Rastreo), Yandex.Webmaster (Análisis de Robots.txt).

Los errores de sintaxis llevan a líneas ignoradas o comportamiento impredecible.

Estructura de sitemap.xml

Sitemap.xml enumera URLs importantes para priorizar el rastreo. Útil para sitios con >100 páginas, actualizaciones frecuentes o páginas huérfanas.

Estructura básica:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://site.ru/</loc>
    <lastmod>2026-01-15</lastmod>
    <changefreq>daily</changefreq>
    <priority>1.0</priority>
  </url>
</urlset>

Etiquetas:

• loc: URL obligatoria.
• lastmod: fecha real de modificación.
• changefreq: frecuencia (diario/semanal; Google ignora, Yandex considera).
• priority: 0.0–1.0 para orden.

Limitaciones: 50,000 URLs, 50 MB. Para más—índice de mapa del sitio:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://site.ru/sitemap-pages.xml</loc>
  </sitemap>
</sitemapindex>

Generación de sitemap.xml

• CMS/plugins: WordPress (Yoast), Bitrix (Marketing). Actualizaciones automáticas, pero verifique URLs innecesarias.
• Generadores en línea: para sitios estáticos, actualizaciones manuales.
• Scripts: para SPAs (Next.js + next-sitemap). Genera durante la compilación.

Coloque en la raíz o especifique en robots.txt.

Integración de archivos

• Agregue a robots.txt: Sitemap: https://site.ru/sitemap.xml.
• Envíe a Google Search Console (Mapas del sitio) y Yandex.Webmaster (Indexación).
• Verifique: las URLs en el mapa del sitio no deben estar en Disallow, estado 200 OK.

Mapas del sitio avanzados

Para medios:

Imágenes:

<url>
  <loc>https://site.ru/article/</loc>
  <image:image>
    <image:loc>https://site.ru/images/photo.jpg</image:loc>
    <image:title>Descripción</image:title>
  </image:image>
</url>

Video (fragmento):

<url>
  <loc>https://site.ru/video-page/</loc>
  <video:video>
    <video:thumbnail_loc>https://site.ru/thumb.jpg</video:thumbnail_loc>
  </video:video>
</url>

Mejora la indexación en Google Imágenes y Yandex.Imágenes.

Conclusiones clave

• Robots.txt ahorra presupuesto de rastreo pero no reemplaza noindex.
• Sitemap acelera el descubrimiento de nuevas páginas y estructura el sitio.
• Siempre verifique conflictos: las URLs en el mapa del sitio deben ser accesibles.
• Considere diferencias Google/Yandex en directivas (Host, Clean-param).
• Para sitios grandes, use índice de mapa del sitio y extensiones de medios.

— Editorial Team