Juan Luis MoraSEO, Google Ads e IA
ES
Hablemos

Sitemap XML para un dominio y su relación con el robots.txt

Juan Luis Mora · Actualizado el 23 de octubre de 2026

Queréis hacer el sitemap de vuestro dominio, o revisar el que genera vuestro CMS.

Lo primero: un sitemap sirve para que Google descubra URLs y sepa cuándo han cambiado. No garantiza que las indexe. Y de las cuatro etiquetas clásicas, Google solo usa dos.

¿Lo necesitáis?

Google lo dice en su introducción a los sitemaps: probablemente no os hace falta si la web es pequeña (unas 500 páginas o menos) y todo está bien enlazado desde la portada.

Sí os conviene si:

  • La web es grande y hay páginas que cuesta alcanzar por enlaces.
  • Es nueva y casi nadie la enlaza todavía.
  • Tiene mucho vídeo, imágenes o noticias.

Aun siendo pequeña, yo lo pongo siempre. Cuesta poco y en Search Console os deja comparar lo que enviáis con lo que Google indexa.

Las etiquetas que Google usa (y las que no)

  • <loc>: la URL. Absoluta, con https:// y el dominio completo.
  • <lastmod>: la fecha de la última modificación. Google la usa si es coherente y verificable, es decir, si cuadra con cuándo cambió la página de verdad.
  • <changefreq> y <priority>: Google las ignora. Lo dice tal cual en su guía para crear un sitemap.

Entonces, lo único que podéis «afinar» es el lastmod. Y ojo: si vuestro CMS pone la fecha de hoy a todas las URLs cada vez que regenera el sitemap, ese dato deja de servir. Cambiar el año del pie de página tampoco es una modificación que merezca actualizar la fecha. Cambiar el contenido, sí.

Qué URLs meter

Solo las que queréis ver en Google:

  • Que devuelvan un 200, no redirecciones ni 404.
  • Que sean la versión canónica (la que lleva el canonical a sí misma).
  • Que no tengan noindex.
  • Que no estén bloqueadas en el robots.txt.

Cada URL de más que no cumple esto es ruido. Y en Search Console os llena el informe de páginas de avisos que no significan nada.

Límites: 50.000 URLs o 50 MB sin comprimir por fichero, codificado en UTF-8. Si os pasáis, se divide en varios sitemaps y se enlazan desde un índice.

Cómo es por dentro

Un sitemap mínimo:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://tudominio.es/</loc>
    <lastmod>2026-10-20</lastmod>
  </url>
  <url>
    <loc>https://tudominio.es/servicios</loc>
    <lastmod>2026-09-02</lastmod>
  </url>
</urlset>

Y un índice que agrupa varios:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://tudominio.es/sitemap-paginas.xml</loc>
  </sitemap>
  <sitemap>
    <loc>https://tudominio.es/sitemap-blog.xml</loc>
  </sitemap>
</sitemapindex>

Quién lo genera

WordPress trae sitemap propio desde la versión 5.5, en /wp-sitemap.xml, con un máximo de 2.000 URLs por fichero (anuncio en Make WordPress). Si usáis un plugin SEO, normalmente lo sustituye por el suyo. Comprobad que solo hay uno activo y enviad ese.

PrestaShop, Joomla, Shopify y compañía lo generan con un módulo o de serie. Lo que hay que revisar es qué meten: filtros, paginaciones, URLs con parámetros, fichas sin stock que dan 404.

Una web a medida en PHP lo puede servir generado al vuelo:

<?php
declare(strict_types=1);

// En una web real, esto saldría de la base de datos:
// solo URLs canónicas, indexables y que devuelven 200.
$paginas = [
    ['url' => 'https://tudominio.es/',          'mod' => '2026-10-20'],
    ['url' => 'https://tudominio.es/servicios', 'mod' => '2026-09-02'],
];

header('Content-Type: application/xml; charset=UTF-8');

echo '<?xml version="1.0" encoding="UTF-8"?>', "\n";
echo '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">', "\n";
foreach ($paginas as $p) {
    echo "  <url>\n";
    echo '    <loc>', htmlspecialchars($p['url'], ENT_XML1 | ENT_QUOTES, 'UTF-8'), "</loc>\n";
    echo '    <lastmod>', $p['mod'], "</lastmod>\n";
    echo "  </url>\n";
}
echo '</urlset>', "\n";

El htmlspecialchars no sobra: un & sin escapar en una URL rompe el XML entero.

Para portales con cientos de miles de URLs la cosa cambia. Lo cuento en sitemaps XML para sitios grandes.

Dónde ponerlo y cómo enviarlo

Puede ir en cualquier ruta, pero Google recomienda la raíz del dominio. Tres formas de avisar:

  1. En Search Console, informe «Sitemaps»: pegáis la URL y enviáis.
  2. Con la API de Search Console, si gestionáis muchas webs.
  3. Con una línea en el robots.txt, que leen Google y el resto de buscadores:
    Sitemap: https://tudominio.es/sitemap.xml

Lo que ya no funciona es el «ping» a Google para avisar de un sitemap nuevo. Google lo retiró en 2023 y apostó por el lastmod. Si algún plugin viejo os dice que «hace ping a Google», no está haciendo nada.

Cómo se relaciona con el robots.txt

El robots.txt controla qué se rastrea, no qué se indexa. Google lo dice en su introducción al robots.txt: no sirve para sacar una página de Google. Una URL bloqueada puede salir en resultados, sin descripción, si hay enlaces que apuntan a ella. Para que no se indexe, noindex en la página. Y para que Google lea ese noindex, la página no puede estar bloqueada en el robots.txt.

Entonces, sitemap y robots.txt tienen que decir lo mismo. Nada de meter en el sitemap URLs que luego bloqueáis.

Un robots.txt básico:

User-agent: *
Disallow: /carrito/
Disallow: /admin/

Sitemap: https://tudominio.es/sitemap.xml

El antiguo probador de robots.txt ya no está en Search Console. En su lugar está el informe de robots.txt, que os dice qué versión ha leído Google y si ha encontrado errores.

Los bots de IA

Hoy el robots.txt también decide qué hacen los rastreadores de IA. Dos datos que conviene tener claros:

  • OpenAI usa bots distintos para cada cosa, según su documentación de rastreadores. GPTBot recoge contenido para entrenar modelos. OAI-SearchBot decide si salís en las búsquedas de ChatGPT. Son independientes: podéis bloquear el primero y dejar el segundo.
  • Google-Extended controla si vuestro contenido se usa para entrenar Gemini y para su grounding. Según la lista de rastreadores de Google, no afecta a la inclusión ni a la posición en la Búsqueda de Google.

Ejemplo: no queréis que entrenen con vuestro contenido, pero sí aparecer en ChatGPT.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: *
Disallow: /carrito/
Disallow: /admin/

Sitemap: https://tudominio.es/sitemap.xml

Ojo: un bot que tiene su propio grupo ignora el de *. Si a GPTBot le dais un grupo, las reglas generales ya no le aplican. Tengo más detalle en el post sobre robots.txt y la IA, y lo trabajo en SEO para IAs.

Revisión en una tarde

  1. Abrid vuestro sitemap. ¿Hay uno solo o dos plugins generando cada uno el suyo?
  2. Comprobad el código de respuesta de cada URL. Con un sitemap simple (no un índice), desde la terminal:
    curl -s https://tudominio.es/sitemap.xml \
      | grep -o '<loc>[^<]*' | sed 's/<loc>//' \
      | while read -r u; do
          echo "$(curl -s -o /dev/null -w '%{http_code}' "$u") $u"
        done | grep -v '^200'
    Todo lo que salga en pantalla no es un 200 y sobra en el sitemap.
  3. Mirad en Search Console el informe de páginas, filtrado por ese sitemap. Las URLs enviadas y no indexadas son las que hay que entender una a una.
  4. Abrid el robots.txt y comprobad que no bloquea nada de lo que está en el sitemap.

¿Cuántas URLs de vuestro sitemap devuelven algo distinto de un 200?

Lo que más me habéis preguntado

Este post lleva comentarios desde 2012. Estas son las dudas que más se repiten, respondidas con lo que sé hoy.

Si ya envío el sitemap en Search Console, ¿hace falta ponerlo también en el robots.txt?

Para Google no, pero yo lo pongo siempre. Google no es el único buscador, y la línea Sitemap: del robots.txt la lee cualquier rastreador que pase por vuestra web sin que tengáis que darla de alta en ningún sitio.

Si actualizo la web a diario, ¿tengo que hacer un sitemap nuevo cada día?

No a mano y no con un nombre nuevo. El sitemap tiene que estar siempre en la misma URL y regenerarse solo cuando publicáis o cambiáis algo, con el lastmod de cada URL al día. Lo envías una vez en Search Console y Google vuelve a leerlo por su cuenta.

¿Google solo indexa lo que está en el sitemap?

No. El sitemap es una lista de URLs que Google puede usar o no, pero rastrea todo lo que encuentra por enlaces, esté o no en el sitemap. Si queréis que algo no se rastree, es cosa del robots.txt, y si no queréis que se indexe, del noindex.

¿Puedo copiar el robots.txt de otra web o de otro CMS?

No. El robots.txt depende de la estructura de URLs de cada web: el de una PrestaShop no sirve para una Magento ni para un WordPress. Y una vez hecho no hay que regenerarlo cada cierto tiempo como el sitemap: solo se toca cuando cambia la estructura.

¿Cómo bloqueo en el robots.txt todas las URLs que terminan de una forma concreta?

Google admite dos comodines: * para cualquier secuencia de caracteres y $ para el final de la URL. Por ejemplo, Disallow: /*/r/$ bloquea todas las URLs que acaban en /r/ (especificación de robots.txt de Google). Ojo: si el problema es contenido duplicado, bloquear no lo quita del índice. Ahí va mejor un canonical a la URL buena o un noindex.

¿Bloqueo las carpetas de módulos, plugins o temas en el robots.txt?

Hoy no lo haría. Google renderiza la página como un navegador y necesita el CSS, el JavaScript y las imágenes para entenderla; si se los bloqueas, ve una página rota. Y las imágenes que estén en esas carpetas dejan de salir en Google Imágenes. Bloquea solo rutas que no aportan nada a la página: carrito, administración, búsquedas internas.

Quiero sacar de Google unas URLs, ¿basta con bloquearlas en el robots.txt?

No, y es el error que más veo. Primero noindex y dejarlas rastreables hasta que Google las saque. Si las bloqueas antes, no llega a leer el noindex. La herramienta de retirada de Search Console las oculta unos seis meses, pero no las desindexa (herramienta de retirada). Y si lo que quieres quitar es la paginación, piénsatelo antes: te lo cuento en paginación en WordPress.


¿Te ha servido? Si quieres que lo mire en tu web, aquí te cuento cómo trabajo el SEO o escríbeme.

¿Te queda alguna duda?

Pregúntamela y la respondo en el muro de preguntas, una vez al día.

Publico tu nombre (o «Anónimo») y tu pregunta junto a la respuesta. No pido correo. No pongas datos personales ni de clientes.

Relacionado

¿Lo miro en tu web?

Le echo un vistazo a los datos y te digo qué tocar primero.

Escríbeme un correoPedir presupuesto SEO

Juan Luis Mora · Ingeniero informático y consultor SEO freelance. SEO en español para España y el mundo.

Escribo para IAs desde Google Bard.

Black Friday y Navidad

Web con IA + Google Ads

2.000 €

Para Black Friday quedan34 días 2 h 58 min

Te hago una web como esta, lista para Google y para las IAs, y la campaña de Google Ads que la acompaña.

Quiero mi web con IA
Hablemos