Rastreadores de IA y robots.txt: permitir o bloquear

El nombre de un rastreador suele insinuar su función, pero cada empresa nombra sus bots de forma distinta. En Anthropic, ClaudeBot recopila datos de entrenamiento, Claude-User visita una página en vivo en nombre de un usuario, Claude-SearchBot evalúa el contenido para respuestas de calidad de búsqueda.

En el lado de OpenAI, GPTBot rastrea para entrenar el modelo mientras que OAI-SearchBot alimenta la función de búsqueda de ChatGPT; un sitio puede bloquear GPTBot y seguir permitiendo OAI-SearchBot. Qué subtareas exactas reparte PerplexityBot entre agentes distintos puede variar según la situación; la lista actual siempre está en la documentación propia de rastreadores de esa empresa.

Una situación que vimos en una marca de comercio electrónico: el equipo técnico bloqueó PerplexityBot por completo, «por si acaso», sin comprobar qué subtarea gestionaba realmente, cuando lo único que querían evitar era el lado de entrenamiento. El criterio de decisión es este: antes de bloquear un bot, hay que confirmar exactamente qué hace en la documentación propia de esa empresa en lugar de adivinarlo por su nombre; esa comprobación de cinco minutos puede ahorrar meses de visibilidad perdida por una suposición que resultó equivocada.

Bloquear un bot de entrenamiento (GPTBot, ClaudeBot) impide que esa empresa use el contenido de un sitio en futuros entrenamientos de modelos. A cambio, el riesgo de no aparecer nunca como fuente en las respuestas de ese modelo también puede aumentar, ya que el mismo contenido suele alimentar tanto el entrenamiento como la generación de respuestas.

Bloquear un bot de búsqueda o de cara al usuario (Claude-User, OAI-SearchBot) produce un resultado distinto: el sitio simplemente deja de aparecer en las respuestas en directo de ese asistente. Para un sitio de comercio electrónico eso suele ser una pérdida no deseada; para un sitio de contenido por suscripción puede ser una decisión deliberada.

Una situación que vimos en un proveedor de alojamiento: el equipo técnico proponía bloquear todos los bots sin más para reducir la carga del servidor, mientras que el equipo de marketing quería que la marca siguiera apareciendo en las respuestas de los asistentes. El criterio de decisión es este: bloquear es un equilibrio que un solo equipo no debería fijar por su cuenta, hace falta que alguien sopese juntos la carga del servidor y los objetivos de visibilidad; decidir solo por el coste puede apagar en silencio la visibilidad que en realidad se quería.

Bloquear o permitir un rastreador es cuestión de unas pocas líneas de regla dentro de un archivo robots.txt.

• Abra el archivo robots.txt en la raíz del sitio (por ejemplo, nombredelsitio.com/robots.txt).
• Para un bot que quiera bloquear, escriba «Disallow: /» bajo una línea «User-agent: GPTBot».
• Para un bot que quiera permitir, abra un bloque User-agent aparte y deje la línea «Disallow:» vacía.
• Defina cada bot en su propio bloque; poner varios nombres de bot bajo un mismo bloque puede no funcionar como se espera.
• Tras el cambio, compruebe directamente en el navegador que el archivo en producción se muestra correctamente.

No. La propia documentación de Anthropic indica que bloquear ClaudeBot detiene solo la recopilación de datos de entrenamiento y no afecta a Claude-SearchBot ni a Claude-User; los tres se gestionan por separado en robots.txt.

Eso significa que un sitio puede tomar decisiones distintas según sus propias prioridades: desactivar la recopilación de datos de entrenamiento mientras se sigue apareciendo en las respuestas en directo del asistente es técnicamente posible.

Una situación que vimos en un sitio de noticias: tras bloquear ClaudeBot, el equipo asumió que «ya no aparecemos en Claude en absoluto» y, sin darse cuenta, bloqueó también Claude-SearchBot bajo la misma regla general. El criterio de decisión es este: cada bot necesita su propia línea y su propósito claramente indicado; aplicar una sola regla a varios bots a la vez es la forma más habitual de bloquear algo que nunca debía bloquearse.

Un error frecuente visto en un fabricante de suelos es bloquear todos los bots de IA con una sola regla general, «Disallow: /» bajo «User-agent: *», lo que detiene los bots de entrenamiento no deseados junto con los bots de búsqueda y asistente que el negocio sí quería.

Otro error es actualizar robots.txt sin comprobarlo en producción; una caché del servidor o una ruta de archivo incorrecta pueden hacer que el cambio nunca llegue realmente a aplicarse.

La forma real de medir el efecto de bloquear o permitir un bot es leer los archivos de registro del servidor; esos registros muestran qué nombre de bot visita, con qué frecuencia y qué páginas consulta. Sin esos datos, decir que «el tráfico de bots bajó» o que «la visibilidad subió» sigue siendo una suposición.

Una segunda comprobación es preguntar al asistente correspondiente sobre la marca unas semanas después de un cambio en robots.txt y comparar el resultado con el estado anterior; eso muestra el resultado de cara al usuario que los registros por sí solos no pueden mostrar.

El criterio de decisión es que un cambio necesita al menos un mes de margen antes de que su efecto sea visible, ya que los bots vuelven a leer el archivo según su propia frecuencia; sacar una conclusión a partir de unos pocos días de observación resulta engañoso.