Generador de robots.txt
Genera un archivo robots.txt con este generador en línea gratuito: bloquea rutas, bloquea rastreadores de IA, añade sitemaps y prueba URL con las reglas.
What next?
¿Te ha sido útil? Comparte Generador de robots.txt
Gratis, sin registro, funciona en el navegador: envíasela a un amigo o añádela a tu sitio.
Herramientas relacionadas
- Bloc de notas en líneaEscribe y guarda notas en este bloc de notas en línea gratis: autoguardado en el navegador, varias notas, búsqueda, conteo de palabras y descarga .txt.
- Contador de palabrasCuenta palabras, caracteres, oraciones y tiempo de lectura con este contador de palabras gratis online. Pega tu texto y ve estadísticas al instante.
- Herramienta de orden alfabéticoOrdena cualquier lista en orden alfabético online gratis: de A a Z o Z a A, por longitud o número, quita duplicados y ordena nombres por apellido.
- Conversor de mayúsculas y minúsculasConvierte mayúsculas y minúsculas online gratis: MAYÚSCULAS, minúsculas, Tipo Título, camelCase, snake_case y más. Copia con un clic.
- Solucionador de crucigramasEncuentra palabras para tu crucigrama con este solucionador de crucigramas gratis online: escribe letras conocidas y ? para huecos, y filtra letras.
- Copiar y pegar emojisCopiar y pegar emojis con un clic: busca entre 500 emojis populares por nombre, explora categorías y crea mensajes. Teclado de emojis gratis online.
Forma parte del kit
Cómo usar Generador de robots.txt
- 1Elige si los buscadores pueden rastrear tu sitio y luego lista las rutas a bloquear y las excepciones permitidas (o elige un preajuste)
- 2Opcionalmente, bloquea los rastreadores de IA, añade la URL de tu sitemap y un retardo de rastreo
- 3Prueba URL con las reglas, luego copia o descarga robots.txt y súbelo a la raíz de tu dominio
Preguntas frecuentes
¿Dónde pongo el robots.txt?▾
En la raíz de tu dominio, para que cargue en https://tusitio.com/robots.txt. Los rastreadores no lo buscan en subcarpetas, y cada subdominio necesita su propio archivo.
¿Cómo bloqueo rastreadores de IA como GPTBot?▾
Añade un grupo para sus user agents con Disallow: /. Marca 'Bloquear rastreadores de IA' para añadir GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot y otros, mientras los buscadores mantienen acceso total.
¿Qué regla gana cuando coinciden Allow y Disallow?▾
Google y Bing usan la regla más específica: la ruta coincidente más larga. Si un Allow y un Disallow tienen la misma longitud, gana Allow. El probador integrado aplica exactamente estas reglas.
¿robots.txt elimina páginas de Google?▾
No. Detiene el rastreo, pero una URL bloqueada aún puede indexarse si otros sitios la enlazan. Para mantener una página fuera de los resultados de búsqueda usa una metaetiqueta noindex y deja que se rastree.
Embed Generador de robots.txt on your website▾
Paste this snippet into your page. The embedded tool runs in your visitor's browser and shows a small “Powered by clkr.work” link.