Bots de IA de Cloudflare: seguir en la búsqueda sin entrenar

Según el artículo de Cloudflare del 1 de julio de 2026, los bots de IA se dividen en tres clases. Los bots Search indexan el contenido para poder responder después y esperan a cambio tráfico de referencia. Los bots Agent actúan en tiempo real en nombre de una persona; en palabras de Cloudflare, a menudo hay un humano esperando al otro lado. Los bots Training recogen contenido para entrenar un modelo, y según Cloudflare ese contenido se absorbe de forma permanente en el modelo.

El motivo de la división es sencillo: aplicar una sola regla a las tres clases da un resultado equivocado. Piense en una librería. Quien mira el escaparate y apunta la tienda en una guía es una cosa, quien compra un libro por encargo suyo y se va es otra, y quien fotocopia todo el catálogo es una tercera. Cloudflare le pide que mire para qué ha venido cada bot.

• Search: indexa el contenido y devuelve tráfico
• Agent: realiza una tarea en tiempo real para una persona
• Training: recoge para entrenar un modelo y el contenido queda absorbido para siempre

En los dominios añadidos a Cloudflare desde el 15 de septiembre de 2026, los bots Training y Agent están bloqueados por defecto en las páginas que muestran anuncios, mientras que los bots Search están permitidos. Así, quien pone un sitio nuevo detrás de Cloudflare queda en esta configuración sin hacer nada.

En los dominios existentes, los ajustes siguen como estaban. Los controles están en los ajustes de seguridad y se ofrecen en todos los planes, incluido el Free. Los rastreadores mixtos como Googlebot, Applebot y Bingbot, que buscan y además hacen otras cosas, se juzgan por todo su comportamiento. Cloudflare también está probando una señal `use=` en robots.txt; la describe como un experimento, no como una regla asentada.

Según el artículo de Cloudflare del 15 de septiembre, se puede, pero la dificultad está en los rastreadores mixtos: el mismo bot puede recoger contenido tanto para la búsqueda como para el entrenamiento. Por eso Cloudflare fija cuatro condiciones para un rastreador mixto «responsable», y solo los que las cumplen siguen rastreando para la búsqueda.

El artículo describe la situación de tres grandes empresas. Para Apple, se prohíbe `Applebot-Extended` con Disallow. Para Google, se usa `Google-Extended`, y además hay en el portal para webmasters un interruptor para salir de los resultados de búsqueda generativos. Para Microsoft, por ahora vale una metaetiqueta `NOARCHIVE`; un mecanismo de robots.txt a nivel de dominio se menciona como objetivo para principios de 2027.

• Un mecanismo de exclusión del entrenamiento al estilo de robots.txt
• Una exclusión de los resúmenes de IA
• Visibilidad a nivel de URL de qué páginas están abiertas al entrenamiento, además de métricas de búsqueda
• La garantía de que excluirse del entrenamiento no afecta a los resultados de búsqueda

El artículo de Cloudflare enumera cuatro opciones para Training. Para la mayoría de las empresas, las dos del medio son las que hay que sopesar: si quiere aparecer en la búsqueda pero mantener su contenido fuera de los modelos, Disallow AI Training apunta en la dirección correcta. Si es un editor que depende de los ingresos por publicidad, Block on pages with ads es otra posibilidad. Block detiene además a los rastreadores mixtos, así que también corta la búsqueda.

Según Cloudflare, menos del 1 por ciento de sus sitios bloquea los bots de búsqueda, mientras que el 17 por ciento bloquea el entrenamiento. Excluirse del entrenamiento no es, por tanto, nada inusual, y bloquear los bots de búsqueda es raro. Una función llamada Bot Preference Sync mantiene su robots.txt alineado con estas decisiones, y Managed Robots.txt se retira.

• Allow: deja entrar a los bots de entrenamiento
• Disallow AI Training: sigue en la búsqueda y se excluye del entrenamiento
• Block on pages with ads: bloquea en las páginas que llevan anuncios
• Block: detiene también a los rastreadores mixtos, así que corta la búsqueda

El error más común es elegir Block y descubrir después que también se cerró la búsqueda. El segundo es cambiar un ajuste en Cloudflare sin comprobar lo que dice realmente el robots.txt. Si las dos capas se contradicen, el resultado es difícil de predecir; con nuestra comprobación de robots y sitemap puede ver el estado real de su archivo en unos segundos.

El tercer error es meter a los bots Agent en el mismo saco que los de entrenamiento. Si un agente actúa en nombre de una persona, bloquearlo puede equivaler a dejar a esa persona en la puerta. El cuarto es ajustarlo una vez y no volver a mirarlo; los bots y las reglas cambian con frecuencia.

• Elegir Block sin darse cuenta de que la búsqueda también queda cerrada
• No comprobar si el ajuste de Cloudflare y el robots.txt se contradicen
• Tratar a los bots Agent y Training como uno solo y bloquear ambos
• Ajustarlo una vez y olvidarlo

Si su sitio no está detrás de Cloudflare, estos ajustes del panel no existen; sus deseos los expresa mediante robots.txt y las herramientas del lado del alojamiento. Y si su contenido está pensado de todos modos para difundirse como referencia abierta, por ejemplo una fuente de conocimiento abierta, excluirse del entrenamiento puede ir en contra de su propósito.

Hay además algo que no sabemos: los artículos de Cloudflare no dicen cómo afecta excluirse del entrenamiento a que un modelo de IA lo mencione. Si le interesa su visibilidad, puede usar nuestra herramienta de visibilidad en IA para ver cómo aparece su marca en las respuestas y revisar el ajuste en consecuencia.