Generatore robots.txt
Crea un file robots.txt: agent, permessi, sitemap.
- Istantaneo
- Gratis
- Privato (elaborato localmente)
- Senza registrazione
Guida i bot, senza errori di sintassi
Un robots.txt scritto male può bloccare per sbaglio l’intero sito. Questo strumento assembla un file valido dalle tue scelte: preset per CMS, percorsi da escludere, sitemap. Mantieni il controllo, senza rischio di refusi.
-
Scegli un preset
Permetti tutto, blocca tutto, o un CMS (WordPress, Shopify, Joomla).
-
Affina le regole
User-agent, percorsi non consentiti, ritardo di scansione, sitemap.
-
Posiziona il file
Copia il risultato in un file robots.txt nella radice del sito.
Le direttive essenziali
| Direttiva | Effetto |
|---|---|
| User-agent: * | Si applica a tutti i bot |
| Disallow: /admin/ | Vieta la scansione di /admin/ |
| Disallow: | Non vieta nulla (tutto consentito) |
| Sitemap: … | Indica l’URL della mappa del sito |
Tutto è generato localmente, nel tuo browser. Verifica sempre il file nella Search Console prima di pubblicarlo su un sito in produzione.
Domande frequenti
A cosa serve il file robots.txt?
Posto nella radice di un sito (https://esempio.com/robots.txt), indica ai crawler dei motori di ricerca quali parti esplorare o evitare. È una convenzione di cortesia: i bot rispettosi la seguono, ma non blocca tecnicamente l’accesso.
Bloccare una pagina basta a nasconderla da Google?
No. «Disallow» impedisce la scansione, non l’indicizzazione: una pagina bloccata può comparire nei risultati se altri siti la collegano. Per escluderla davvero, usa un meta tag «noindex» o la protezione con password.
Cosa significa un «Disallow:» vuoto?
Una riga «Disallow:» senza valore consente tutto: il bot può scansionare l’intero sito. Al contrario, «Disallow: /» blocca tutto. È la differenza tra «niente vietato» e «tutto vietato».
Bisogna indicare la sitemap qui?
È consigliato: la riga «Sitemap:» dà ai motori l’URL della tua mappa del sito, accelerando la scoperta delle pagine. Usa un URL assoluto e completo, ad esempio https://esempio.com/sitemap.xml.