Skip to content
clkr

Loading tools…

    Robots.txt-Generator

    Erzeuge eine robots.txt mit dem Robots.txt-Generator: Pfade sperren, KI-Crawler blockieren, Sitemaps hinzufügen und URLs testen. Kostenlos online.

    Wird geladen…

    What next?

    Hilfreich? Teilen Sie Robots.txt-Generator

    Kostenlos, ohne Anmeldung, läuft im Browser – schick es einem Freund oder füge es deiner Seite hinzu.

    Ähnliche Tools

    Teil des Toolkits

    So verwenden Sie Robots.txt-Generator

    1. 1Wähle, ob Suchmaschinen deine Website crawlen dürfen, und liste dann Pfade zum Sperren und Ausnahmen auf (oder wähle eine Vorlage)
    2. 2Blockiere optional KI-Crawler, füge deine Sitemap-URL und eine Crawl-Verzögerung hinzu
    3. 3Teste URLs gegen die Regeln, kopiere oder lade dann die robots.txt herunter und lade sie in das Stammverzeichnis deiner Domain hoch

    Häufig gestellte Fragen

    Wo lege ich robots.txt ab?▾

    Im Stammverzeichnis deiner Domain, sodass sie unter https://yoursite.com/robots.txt geladen wird. Crawler suchen nicht in Unterordnern danach, und jede Subdomain braucht ihre eigene Datei.

    Wie blockiere ich KI-Crawler wie GPTBot?▾

    Füge eine Gruppe für deren User-Agents mit Disallow: /. hinzu. Setze ein Häkchen bei „KI-Crawler blockieren“, um GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot und weitere hinzuzufügen, während Suchmaschinen vollen Zugriff behalten.

    Welche Regel gewinnt, wenn Allow und Disallow beide zutreffen?▾

    Google und Bing verwenden die spezifischste Regel – den längsten passenden Pfad. Haben ein Allow und ein Disallow dieselbe Länge, gewinnt Allow. Der eingebaute Tester wendet genau diese Regeln an.

    Entfernt robots.txt Seiten aus Google?▾

    Nein. Es stoppt das Crawlen, aber eine blockierte URL kann trotzdem indexiert werden, wenn andere Seiten darauf verlinken. Um eine Seite aus den Suchergebnissen herauszuhalten, nutze ein noindex-Meta-Tag und lass sie crawlen.

    Embed Robots.txt-Generator on your website▾

    Paste this snippet into your page. The embedded tool runs in your visitor's browser and shows a small “Powered by clkr.work” link.