Robots.txt-Generator
Erstellen Sie eine robots.txt: Agents, Berechtigungen, Sitemap.
- Sofort
- Kostenlos
- Privat (lokal verarbeitet)
- Ohne Anmeldung
Lenken Sie die Bots, ohne Syntaxfehler
Eine schlecht geschriebene robots.txt kann Ihre ganze Site versehentlich sperren. Dieses Tool baut eine gültige Datei aus Ihren Auswahlen zusammen: CMS-Presets, auszuschließende Pfade, Sitemap. Sie behalten die Kontrolle, ohne Tippfehlerrisiko.
-
Preset wählen
Alles erlauben, alles sperren oder ein CMS (WordPress, Shopify, Joomla).
-
Regeln verfeinern
User-Agent, gesperrte Pfade, Crawl-Verzögerung, Sitemap.
-
Datei ablegen
Kopieren Sie das Ergebnis in eine robots.txt im Stammverzeichnis.
Die wesentlichen Direktiven
| Direktive | Wirkung |
|---|---|
| User-agent: * | Gilt für alle Bots |
| Disallow: /admin/ | Verbietet das Crawlen von /admin/ |
| Disallow: | Verbietet nichts (alles erlaubt) |
| Sitemap: … | Gibt die Sitemap-URL an |
Alles wird lokal im Browser erzeugt. Prüfen Sie Ihre Datei stets in der Search Console, bevor Sie sie auf einer Produktionssite live schalten.
Häufige Fragen
Wozu dient die robots.txt-Datei?
Im Stammverzeichnis einer Website abgelegt (https://beispiel.de/robots.txt), teilt sie den Crawlern der Suchmaschinen mit, welche Teile sie erkunden oder meiden sollen. Es ist eine Höflichkeitskonvention: respektvolle Bots folgen ihr, technisch blockiert sie den Zugriff aber nicht.
Reicht das Sperren einer Seite, um sie vor Google zu verbergen?
Nein. „Disallow“ verhindert das Crawlen, nicht die Indexierung: eine gesperrte Seite kann weiterhin in den Ergebnissen erscheinen, wenn andere Sites darauf verlinken. Um sie wirklich auszuschließen, nutzen Sie ein „noindex“-Meta-Tag oder Passwortschutz.
Was bedeutet ein leeres „Disallow:“?
Eine „Disallow:“-Zeile ohne Wert erlaubt alles: der Bot darf die ganze Site crawlen. Umgekehrt sperrt „Disallow: /“ alles. Das ist der Unterschied zwischen „nichts verboten“ und „alles verboten“.
Sollte man die Sitemap hier angeben?
Es wird empfohlen: die „Sitemap:“-Zeile gibt den Engines die URL Ihrer Sitemap, was das Entdecken Ihrer Seiten beschleunigt. Verwenden Sie eine vollständige, absolute URL, z. B. https://beispiel.de/sitemap.xml.