Générateur robots.txt
Créez un fichier robots.txt : agents, autorisations, sitemap.
- Instantané
- Gratuit
- Privé (traité localement)
- Sans inscription
Guidez les robots, sans erreur de syntaxe
Un robots.txt mal écrit peut bloquer tout votre site par accident. Cet outil assemble un fichier valide à partir de vos choix : préréglages par CMS, chemins à exclure, sitemap. Vous gardez le contrôle, sans risque de faute de frappe.
-
Choisissez un préréglage
Tout autoriser, tout bloquer, ou un CMS (WordPress, Shopify, Joomla).
-
Affinez les règles
User-agent, chemins interdits, délai d’exploration, sitemap.
-
Déposez le fichier
Copiez le résultat dans un fichier robots.txt à la racine du site.
Les directives essentielles
| Directive | Effet |
|---|---|
| User-agent: * | S’applique à tous les robots |
| Disallow: /admin/ | Interdit l’exploration de /admin/ |
| Disallow: | N’interdit rien (tout est autorisé) |
| Sitemap: … | Indique l’URL du plan de site |
Tout est généré localement, dans votre navigateur. Vérifiez toujours votre fichier dans la Search Console avant de le mettre en ligne sur un site en production.
Questions fréquentes
À quoi sert le fichier robots.txt ?
Placé à la racine d’un site (https://exemple.com/robots.txt), il indique aux robots des moteurs de recherche quelles parties explorer ou éviter. C’est une convention de courtoisie : les robots respectueux la suivent, mais elle n’empêche pas techniquement l’accès.
Bloquer une page suffit-il à la cacher de Google ?
Non. « Disallow » empêche l’exploration, pas l’indexation : une page bloquée peut toujours apparaître dans les résultats si d’autres sites y renvoient. Pour vraiment l’exclure, utilisez une balise meta « noindex » ou une protection par mot de passe.
Que signifie « Disallow: » vide ?
Une ligne « Disallow: » sans valeur autorise tout : le robot peut explorer l’ensemble du site. À l’inverse, « Disallow: / » bloque tout. C’est la différence entre « rien d’interdit » et « tout interdit ».
Faut-il indiquer le sitemap ici ?
C’est recommandé : la ligne « Sitemap: » donne aux moteurs l’URL de votre plan de site, ce qui accélère la découverte de vos pages. Utilisez une URL absolue et complète, par exemple https://exemple.com/sitemap.xml.