Skip to content
clkr

Loading tools…

    Générateur de robots.txt

    Générez un fichier robots.txt avec ce générateur gratuit en ligne : interdisez des chemins, bloquez les robots d'IA, ajoutez des sitemaps et testez des URL.

    Chargement…

    What next?

    Utile ? Partagez Générateur de robots.txt

    Gratuit, sans inscription, fonctionne dans le navigateur — envoyez-le à un ami ou ajoutez-le à votre site.

    Outils associés

    Fait partie du kit

    Comment utiliser Générateur de robots.txt

    1. 1Choisissez si les moteurs de recherche peuvent explorer votre site, puis listez les chemins à interdire et les exceptions autorisées (ou choisissez un préréglage)
    2. 2Bloquez éventuellement les robots d'IA, ajoutez l'URL de votre sitemap et un délai d'exploration
    3. 3Testez des URL par rapport aux règles, puis copiez ou téléchargez robots.txt et placez-le à la racine de votre domaine

    Questions fréquentes

    Où dois-je mettre robots.txt ?▾

    À la racine de votre domaine, pour qu'il se charge à https://votresite.com/robots.txt. Les robots ne le cherchent pas dans les sous-dossiers, et chaque sous-domaine a besoin de son propre fichier.

    Comment bloquer les robots d'IA comme GPTBot ?▾

    Ajoutez un groupe pour leurs user agents avec Disallow: /. Cochez « Bloquer les robots d'IA » pour ajouter GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot et d'autres, tandis que les moteurs de recherche gardent un accès complet.

    Quelle règle l'emporte quand Allow et Disallow correspondent tous deux ?▾

    Google et Bing appliquent la règle la plus spécifique — le chemin correspondant le plus long. Si un Allow et un Disallow ont la même longueur, Allow l'emporte. Le testeur intégré applique exactement ces règles.

    Le fichier robots.txt supprime-t-il des pages de Google ?▾

    Non. Il arrête l'exploration, mais une URL bloquée peut quand même être indexée si d'autres sites y renvoient. Pour garder une page hors des résultats de recherche, utilisez une balise meta noindex et laissez-la explorer.

    Embed Générateur de robots.txt on your website▾

    Paste this snippet into your page. The embedded tool runs in your visitor's browser and shows a small “Powered by clkr.work” link.