Robots.txt-generator
Maak een robots.txt-bestand: agents, permissies, sitemap.
- Direct
- Gratis
- Privé (lokaal verwerkt)
- Zonder registratie
Stuur de bots, zonder syntaxfout
Een slecht geschreven robots.txt kan per ongeluk je hele site blokkeren. Deze tool stelt een geldig bestand samen uit jouw keuzes: CMS-presets, uit te sluiten paden, sitemap. Jij houdt de controle, zonder risico op een typefout.
-
Kies een preset
Alles toestaan, alles blokkeren, of een CMS (WordPress, Shopify, Joomla).
-
Verfijn de regels
User-agent, verboden paden, crawlvertraging, sitemap.
-
Plaats het bestand
Kopieer het resultaat naar een robots.txt-bestand in de site-root.
De essentiële richtlijnen
| Richtlijn | Effect |
|---|---|
| User-agent: * | Geldt voor alle bots |
| Disallow: /admin/ | Verbiedt crawlen van /admin/ |
| Disallow: | Verbiedt niets (alles toegestaan) |
| Sitemap: … | Geeft de sitemap-URL aan |
Alles wordt lokaal in je browser gegenereerd. Controleer je bestand altijd in Search Console voordat je het live zet op een productiesite.
Veelgestelde vragen
Waarvoor dient het robots.txt-bestand?
Geplaatst in de root van een site (https://voorbeeld.com/robots.txt) vertelt het de crawlers van zoekmachines welke delen ze mogen verkennen of vermijden. Het is een beleefdheidsconventie: respectvolle bots volgen het, maar technisch blokkeert het de toegang niet.
Is een pagina blokkeren genoeg om haar voor Google te verbergen?
Nee. “Disallow” voorkomt crawlen, niet indexeren: een geblokkeerde pagina kan nog in de resultaten verschijnen als andere sites ernaar linken. Om haar echt uit te sluiten, gebruik een “noindex”-meta-tag of wachtwoordbeveiliging.
Wat betekent een lege “Disallow:”?
Een “Disallow:”-regel zonder waarde staat alles toe: de bot mag de hele site crawlen. Omgekeerd blokkeert “Disallow: /” alles. Dat is het verschil tussen “niets verboden” en “alles verboden”.
Moet ik de sitemap hier vermelden?
Het is aanbevolen: de “Sitemap:”-regel geeft zoekmachines de URL van je sitemap, wat het ontdekken van je pagina’s versnelt. Gebruik een volledige, absolute URL, bijv. https://voorbeeld.com/sitemap.xml.