De todas las dudas que me llegan sobre SEO técnico, el robots.txt es de las que más preguntas concretas genera. Aquí tienes las respuestas a las que más se repiten.
Las directivas básicas
- User-agent: a qué robot se aplican las reglas siguientes.
*para todos, o el nombre concreto (Googlebot,GPTBot…) para uno específico. - Disallow: bloquea el rastreo de todo lo que empiece por esa ruta.
- Allow: permite el acceso, típicamente para abrir una excepción dentro de una carpeta bloqueada.
- Sitemap: indica dónde está tu sitemap XML.
- *: comodín para cualquier cadena de texto.
- #: comentarios, no afectan a las reglas.
- $: marca el final exacto de una cadena.
Disallow: /carpeta/$bloquea solo la raíz, no el contenido de dentro.
Errores comunes que sigo viendo
- Usar Noindex en robots.txt. No funciona. Google dejó de soportarlo en 2019. Usa la metaetiqueta
noindexen la propia página. - Usar Crawl-delay pensando que afecta a Google. No tiene ningún efecto en Googlebot; la frecuencia de rastreo se ajusta desde Search Console, no desde aquí.
- Bloquear CSS y JS. Hoy es un error claro: Google necesita renderizar tu página para evaluarla, y sin esos archivos no puede hacerlo bien. Déjalos siempre accesibles.
- Pensar que Disallow borra contenido ya indexado. No lo hace. Solo impide el acceso futuro. Si ya estaba indexado o tiene enlaces externos, seguirá apareciendo. Peor aún: si le pones
noindexa una página y la bloqueas a la vez en robots.txt, el robot nunca podrá leer ese noindex y la URL puede quedar «atrapada» indexada para siempre. - Pensar que un subdominio hereda el robots.txt del dominio principal. No lo hace, cada subdominio necesita el suyo propio, siempre en su raíz.
Cómo gestionar hoy los rastreadores de IA
Además de Googlebot, hoy tiene sentido decidir explícitamente qué haces con GPTBot (OpenAI), Google-Extended (entrenamiento de modelos de Google, distinto de Googlebot de búsqueda), PerplexityBot y similares. Si quieres que tu contenido pueda citarse en respuestas de IA (lo habitual si te interesa el AEO), no los bloquees. Si prefieres que no se use tu contenido para entrenar modelos mientras sigues apareciendo en búsqueda normal, puedes bloquear específicamente esos user-agents sin tocar el acceso de Googlebot.
Otras dudas rápidas
- ¿Es case-sensitive? Sí, tanto como Linux.
- ¿Puede un buscador ignorar el robots.txt? Sí, si quiere. Es una petición, no una barrera real. Si necesitas bloqueo de verdad, usa autenticación.
- ¿Tamaño máximo? 500 KB.
- ¿Dónde se valida? Desde el informe de robots.txt de Search Console.
¿Qué duda tienes tú sobre tu robots.txt?
======================================================================¿Te ha servido? Si quieres que lo mire en tu web, aquí te cuento cómo trabajo el SEO o escríbeme.