Kann ich die generierte Ausgabe anpassen?

Ja. Das Tool bietet verschiedene Anpassungsoptionen, um die Ausgabe an Ihre spezifischen Bedürfnisse anzupassen. Passen Sie die Einstellungen vor dem Generieren an oder führen Sie eine Neugenerierung mit verschiedenen Optionen durch.

Ist die Nutzung der generierten Inhalte kostenlos?

Ja. Alles, was Sie mit diesem Tool generieren, steht Ihnen zur Nutzung für persönliche, Bildungs- oder kommerzielle Zwecke ohne Einschränkungen oder Quellennachweispflichten zur Verfügung.

Ist hierfür ein Konto erforderlich?

Nein. Das Tool ist sofort einsatzbereit, ohne Anmeldung, ohne E-Mail und ohne Registrierung. Öffnen Sie einfach die Seite und beginnen Sie mit der Generierung.

Werden meine Eingabedaten vertraulich behandelt?

Ja. Die gesamte Verarbeitung erfolgt in Ihrem Browser. Ihre Eingabedaten und generierten Ausgaben werden niemals an einen externen Server gesendet.

Wie blockiere ich einen Bot, erlaube aber andere?

Separate User-Agent-Blöcke. Benutzeragent: BadBot gefolgt von Disallow: / blockiert BadBot. User-Agent: * mit Allow: / erlaubt andere.

Ist bei robots.txt die Groß-/Kleinschreibung beachtet?

Beim Pfadabgleich wird die Groß-/Kleinschreibung beachtet. Nicht zulassen: /Admin stimmt nicht mit /admin überein. Passen Sie die tatsächliche Groß-/Kleinschreibung Ihrer URLs an.

Verlangsamt die Crawl-Verzögerung tatsächlich Google?

Google berücksichtigt Crawl-Verzögerungen nicht. Es berücksichtigt die Crawling-Rateneinstellungen in der Search Console. Andere Crawler (Bing, Yandex) respektieren die Crawl-Verzögerung.

Werden meine Daten hochgeladen?

Nein. Die Generierung erfolgt in Ihrem Browser.

Kostenloser Konverter

robots.txt Generator

Generieren Sie sofort eine robots.txt-Datei für Ihre Website. Fügen Sie User-Agent-Regeln, Pfade zulassen/verbieten, Crawling-Verzögerung und Sitemap-URL hinzu. Kostenloser Echtzeit-Robots.txt-Generator.

Regel hinzufügen

Benutzeragent

Erlauben

Pfad

Crawl-Verzögerung (optional)

Sitemap-URL (optional)

Generierte robots.txt

User-agent: *
Disallow:

Über dieses Tool

robots.txt ist eine reine Textdatei im Stammverzeichnis einer Website, die Crawlern mitteilt, welche Pfade sie besuchen dürfen und welche sie meiden sollten. Das Format stammt aus dem Jahr 1994 und wird von praktisch jeder Suchmaschine und jedem gut funktionierenden Crawler unterstützt. Bei der Datei handelt es sich um eine Empfehlungsdatei – böswillige Crawler ignorieren sie –, aber seriöse Crawler (Google, Bing usw.) befolgen ihre Anweisungen zuverlässig.

Häufige Verwendungszwecke: Blockieren von Crawlern aus Admin-Bereichen (/wp-admin/, /admin/), Ausschließen facettierter Such-URL-Parameter, die doppelten Inhalt erzeugen, Verhindern der Indizierung von Staging- oder Entwicklungspfaden, Deklarieren des Sitemap-Speicherorts und Zulassen bestimmter Benutzeragenten, während andere blockiert werden. Die Datei wird zu Beginn jeder Crawl-Sitzung gelesen.

Dieser Generator erstellt aus Formulareingaben eine syntaktisch korrekte robots.txt. Gängige Muster (alle zulassen, alle blockieren, bestimmte Pfade blockieren) sind Vorlagen; Benutzerdefinierte Regeln können pro Benutzeragent hinzugefügt werden. Die Ausgabe erfolgt unter /robots.txt Ihres Site-Roots.

Warum einen robots.txt-Generator verwenden?

Das Schreiben von robots.txt per Hand ist fehleranfällig. Syntaxfehler (Groß-/Kleinschreibung, genaue Pfadzuordnung, Reihenfolge der Regeln) führen stillschweigend zu falschem Verhalten – Pfade, die Sie blockieren wollten, bleiben gecrawlt, oder Pfade, die Sie indizieren wollten, werden ausgeschlossen. Ein Generator, der die korrekte Syntax erzeugt, vermeidet diese Fallstricke.

robots.txt hat auch subtile Interaktionen mit anderen SEO-Tools. Das Verbot eines Pfads in robots.txt verhindert nicht, dass er in den Suchergebnissen angezeigt wird (Google indiziert die URL möglicherweise, ohne sie zu crawlen); Meta Noindex erfordert, dass die Seite zuerst gecrawlt wird. Zu wissen, welches Tool für welchen Zweck verwendet werden soll, ist wichtig; Der Generator kann Sie führen.

So verwenden Sie es

Wählen Sie eine Vorlage aus, passen Sie sie an und stellen Sie sie bereit.

Wählen Sie eine Startvorlage: Alle zulassen (Standard-Crawling-Alles-Status), Alle blockieren (alles von der Indizierung blockieren) oder Benutzerdefiniert (mit den von Ihnen angegebenen Regeln beginnen).
Fügen Sie Benutzeragentenregeln hinzu: Bestimmte Pfade für alle Crawler oder für bestimmte benannte Bots (Googlebot, Bingbot, GPTBot) nicht zulassen. Jeder Benutzeragentenblock verfügt über einen eigenen Satz von Allow- und Disallow-Anweisungen.
Sitemap-URL hinzufügen: Geben Sie die absolute URL Ihrer XML-Sitemap an. Crawler nutzen dies, um URLs zu entdecken, die ihnen andernfalls entgehen könnten.
Speichern und bereitstellen: Laden Sie die generierte Datei herunter. Laden Sie es in das Stammverzeichnis Ihrer Domain hoch (so erscheint es unter https://example.com/robots.txt). Überprüfen Sie dies, indem Sie diese URL in einem Browser aufrufen.

Häufige Anwendungsfälle

Blockieren der Indizierung von Admin-Seiten — /admin/, /wp-admin/, /login-Seiten sollten nicht in den Suchergebnissen erscheinen. Verbieten Sie sie in robots.txt.
Ausgenommen Staging-Umgebungen — Staging- oder Entwicklungsseiten sollten nicht gecrawlt werden. Eine pauschale Nichtzulassung für die Staging-Domäne verhindert eine versehentliche Indizierung.
Verwalten des KI-Crawler-Zugriffs — GPTBot, ClaudeBot und andere KI-Crawler können gezielt blockiert werden, während Standardsuchmaschinen zugelassen werden.
Deklarieren von Sitemap-Standorten — Die Sitemap-Anweisung in robots.txt verweist Crawler auf Ihre Sitemap und hilft so, URLs schneller zu finden.
Blockieren von URL-Parametern für doppelten Inhalt — Facettierte Such-URLs (?color=red&size=L&...) erzeugen viele gecrawlte Duplikate. Das Verbot der Parametermuster verhindert die Verschwendung von Crawling-Budget.

Technische Details

Format: Benutzeragent: <Name> gefolgt von Allow/Disallow-Anweisungen. * entspricht allen Bots. Spezifische Namen (Googlebot, Bingbot) zielen auf bestimmte Crawler ab. Mehrere User-Agent-Blöcke können Regeln stapeln.

Nicht zulassen: <Pfad> blockiert Pfade, die mit dem angegebenen Präfix beginnen. Disallow: / blockiert die gesamte Website. Nicht zulassen: /admin/ blockiert alles unter /admin/. Der abschließende Schrägstrich ist wichtig; Nicht zulassen: /admin (kein Schrägstrich) stimmt auch mit /administrator überein.

Crawl-Verzögerung (in Sekunden) fordert langsameres Crawlen an. Sitemap (absolute URL) gibt Ihren Sitemap-Standort an. # startet eine Kommentarzeile.

Best Practices

Verlassen Sie sich aus Sicherheitsgründen nicht auf robots.txt — robots.txt ist eine Empfehlung. Sensible Inhalte erfordern eine Authentifizierung, nicht nur eine Nichtzulassung. Entschlossene Angreifer ignorieren die Datei.
Verwenden Sie noindex zur Indizierungssteuerung — „Disallow“ verhindert das Crawlen, aber Google indiziert möglicherweise trotzdem URLs. Um die Indizierung zu verhindern, erlauben Sie das Crawlen und verwenden Sie stattdessen ein Noindex-Meta-Tag.
Deklarieren Sie Ihre Sitemap — Die Sitemap-Anweisung hilft Crawlern, URLs zu finden, die sie möglicherweise übersehen. Es handelt sich um eine einzeilige Ergänzung mit messbarem Nutzen.
Vor der Bereitstellung testen — Die Google Search Console verfügt über einen robots.txt-Tester, der bestätigt, dass Ihre Regeln Ihre Absicht blockieren. Verwenden Sie es vor und nach der Bereitstellung.

Häufig gestellte Fragen

Kann ich die generierte Ausgabe anpassen?: Ja. Das Tool bietet verschiedene Anpassungsoptionen, um die Ausgabe an Ihre spezifischen Bedürfnisse anzupassen. Passen Sie die Einstellungen vor dem Generieren an oder führen Sie eine Neugenerierung mit verschiedenen Optionen durch.
Ist die Nutzung der generierten Inhalte kostenlos?: Ja. Alles, was Sie mit diesem Tool generieren, steht Ihnen zur Nutzung für persönliche, Bildungs- oder kommerzielle Zwecke ohne Einschränkungen oder Quellennachweispflichten zur Verfügung.
Ist hierfür ein Konto erforderlich?: Nein. Das Tool ist sofort einsatzbereit, ohne Anmeldung, ohne E-Mail und ohne Registrierung. Öffnen Sie einfach die Seite und beginnen Sie mit der Generierung.
Werden meine Eingabedaten vertraulich behandelt?: Ja. Die gesamte Verarbeitung erfolgt in Ihrem Browser. Ihre Eingabedaten und generierten Ausgaben werden niemals an einen externen Server gesendet.
Wie blockiere ich einen Bot, erlaube aber andere?: Separate User-Agent-Blöcke. Benutzeragent: BadBot gefolgt von Disallow: / blockiert BadBot. User-Agent: * mit Allow: / erlaubt andere.
Ist bei robots.txt die Groß-/Kleinschreibung beachtet?: Beim Pfadabgleich wird die Groß-/Kleinschreibung beachtet. Nicht zulassen: /Admin stimmt nicht mit /admin überein. Passen Sie die tatsächliche Groß-/Kleinschreibung Ihrer URLs an.
Verlangsamt die Crawl-Verzögerung tatsächlich Google?: Google berücksichtigt Crawl-Verzögerungen nicht. Es berücksichtigt die Crawling-Rateneinstellungen in der Search Console. Andere Crawler (Bing, Yandex) respektieren die Crawl-Verzögerung.
Werden meine Daten hochgeladen?: Nein. Die Generierung erfolgt in Ihrem Browser.

robots.txt Generator

Regel hinzufügen

Generierte robots.txt

Verwandte Tools

Hreflang-Tag Generator

OG-Tag Generator

Twitter-Karten-Tag Generator

Schema-Markup (JSON-LD) Generator