Robots.txt Generator

Erstellen Sie robots.txt-Dateien für Ihre Website. Steuern Sie, welche Bots was crawlen, legen Sie Crawl-Delay fest und verlinken Sie Ihre Sitemap. Kostenlos und privat.

⚙️ Settings

📄 Output

📝 What goes in robots.txt?

  • User-agent: Which crawler the rule applies to (* = all)
  • Allow/Disallow: Paths the crawler can or cannot access
  • Crawl-delay: Seconds to wait between requests
  • Sitemap: URL of your XML sitemap

All processing in-browser · No data sent to any server

About Robots.txt Generator

Erstellen Sie robots.txt-Dateien für Ihre Website. Steuern Sie, welche Seiten Suchmaschinen crawlen dürfen. Legen Sie Crawl-Delay, Sitemap-URLs und Regeln pro Bot fest. Alles in Ihrem Browser — keine Daten werden übertragen.

Visueller Builder

Fügen Sie Allow/Disallow-Regeln hinzu, ohne Syntax zu schreiben. Sehen Sie, wie die robots.txt beim Hinzufügen von Direktiven aufgebaut wird.

Regeln pro Bot

Legen Sie unterschiedliche Regeln für Googlebot, Bingbot und generische Crawler fest. Blockieren Sie KI-Scraper selektiv.

Voreinstellungen enthalten

Starten Sie mit WordPress-, E-Commerce- oder benutzerdefinierten Voreinstellungen. Passen Sie sie nach Bedarf für Ihre spezifische Website an.

Integrierte Validierung

Überprüft die Syntax, bevor Sie herunterladen. Keine defekten robots.txt-Dateien — jedes Mal validierte Ausgabe.

📋 Common Use Cases

Crawler blockieren

Verhindern Sie, dass Suchmaschinen sensible Verzeichnisse wie Admin, Login oder private Bereiche indexieren.

Zugriff erlauben

Erlauben Sie Crawlern ausdrücklich den Zugriff auf Seiten und Ressourcen, die Sie indexieren möchten.

Crawl-Management

Legen Sie Crawl-Delay fest, um die Serverlast durch aggressive Suchmaschinen-Bots zu reduzieren.

Sitemap-Erkennung

Fügen Sie Ihre XML-Sitemap-URL hinzu, damit Suchmaschinen Ihre Seiten finden und crawlen.

🪜 How to Use This Tool

  1. User-Agent festlegen
    Wählen Sie den Crawler, für den die Regeln gelten, oder verwenden Sie * für alle Bots.
  2. Allow/Disallow-Regeln hinzufügen
    Geben Sie an, auf welche Pfade Crawler zugreifen dürfen oder nicht.
  3. Crawl-Delay und Sitemap konfigurieren
    Legen Sie ein Crawl-Delay fest und fügen Sie bei Bedarf Ihre Sitemap-URL hinzu.
  4. Generieren und herunterladen
    Kopieren oder laden Sie Ihre robots.txt-Datei herunter und laden Sie sie in das Stammverzeichnis Ihrer Website hoch.

📚 Related Guides

Frequently Asked Questions

Sind diese SEO-Tools kostenlos?▼
Ja. Alle SEO-Tools sind komplett kostenlos. Keine Anmeldung erforderlich.
Funktionieren die Meta-Tags für Google?▼
Ja. Der Meta-Tag-Generator erstellt standardmäßige Open-Graph-, Twitter-Card- und HTML-Meta-Tags, die von Google, Facebook, Twitter und anderen Plattformen erkannt werden.
Ist das Schema-Markup gültig?▼
Ja. Der Schema-Generator erstellt gültiges JSON-LD gemäß den Schema.org-Spezifikationen für Artikel, FAQ, Produkt, LocalBusiness und andere Typen.