Generador robots.txt
Crea un archivo robots.txt: agentes, permisos, sitemap.
- Instantánea
- Gratis
- Privada (procesada localmente)
- Sin registro
Guía a los robots, sin error de sintaxis
Un robots.txt mal escrito puede bloquear todo tu sitio por accidente. Esta herramienta ensambla un archivo válido a partir de tus elecciones: preajustes por CMS, rutas a excluir, sitemap. Mantienes el control, sin riesgo de errata.
-
Elige un preajuste
Permitir todo, bloquear todo, o un CMS (WordPress, Shopify, Joomla).
-
Afina las reglas
User-agent, rutas no permitidas, retardo de rastreo, sitemap.
-
Coloca el archivo
Copia el resultado en un archivo robots.txt en la raíz del sitio.
Las directivas esenciales
| Directiva | Efecto |
|---|---|
| User-agent: * | Se aplica a todos los robots |
| Disallow: /admin/ | Prohíbe el rastreo de /admin/ |
| Disallow: | No prohíbe nada (todo permitido) |
| Sitemap: … | Indica la URL del mapa del sitio |
Todo se genera localmente, en tu navegador. Comprueba siempre tu archivo en Search Console antes de publicarlo en un sitio en producción.
Preguntas frecuentes
¿Para qué sirve el archivo robots.txt?
Colocado en la raíz de un sitio (https://ejemplo.com/robots.txt), indica a los robots de los buscadores qué partes explorar o evitar. Es una convención de cortesía: los robots respetuosos la siguen, pero no bloquea técnicamente el acceso.
¿Bloquear una página basta para ocultarla de Google?
No. «Disallow» impide el rastreo, no la indexación: una página bloqueada puede seguir apareciendo en los resultados si otros sitios enlazan a ella. Para excluirla de verdad, usa una etiqueta meta «noindex» o protección por contraseña.
¿Qué significa un «Disallow:» vacío?
Una línea «Disallow:» sin valor permite todo: el robot puede rastrear todo el sitio. Al contrario, «Disallow: /» bloquea todo. Esa es la diferencia entre «nada prohibido» y «todo prohibido».
¿Hay que indicar el sitemap aquí?
Es recomendable: la línea «Sitemap:» da a los buscadores la URL de tu mapa del sitio, lo que acelera el descubrimiento de tus páginas. Usa una URL absoluta y completa, por ejemplo https://ejemplo.com/sitemap.xml.