Generador de robots.txt

Esta herramienta crea el archivo robots.txt que indica a los motores de búsqueda y a los rastreadores de IA qué carpetas pueden rastrear, en su navegador; parta de una plantilla o añada sus líneas Allow y Disallow a cada grupo. Los rastreadores de IA como GPTBot, ClaudeBot y PerplexityBot tienen su propia sección donde puede permitir, bloquear o dejar cada uno intacto, con atajos para permitir todo o bloquear solo el entrenamiento en un clic. Nada de lo que introduzca se envía a un servidor, el archivo se construye por completo en su navegador.

Las reglas que cree aparecen abajo en una vista previa en vivo; bajo cada grupo User-agent, las líneas Allow y Disallow se listan en orden, y la ruta más específica suele prevalecer. Bloquear una ruta con Disallow siempre exige que empiece con una barra, o los rastreadores pueden ignorar la regla; escribir Disallow: / bajo User-agent: * retira todo su sitio del rastreo, por eso la herramienta marca esa línea con una advertencia aparte. Las líneas de sitemap deben ser direcciones completas que empiecen por https://, no se acepta una ruta relativa.

Esta herramienta solo crea el archivo, no lo sube a ningún sitio; debe copiar el texto generado y colocarlo usted mismo en la raíz de su sitio con el nombre robots.txt. Puede añadirse una línea Crawl-delay pero Google la ignora por completo, solo algunos otros rastreadores la tienen en cuenta. robots.txt es una petición, no un candado: los rastreadores que no respetan las reglas pueden igualmente ignorar lo escrito aquí, las páginas que de verdad deben permanecer ocultas necesitan protección con contraseña o una restricción de acceso en el servidor.