Cloudflare et bots IA: rester dans la recherche, sans l'entraînement

D'après l'article de Cloudflare du 1er juillet 2026, les bots IA se répartissent en trois classes. Les bots Search indexent le contenu pour pouvoir répondre ensuite et attendent en retour du trafic de renvoi. Les bots Agent agissent en temps réel pour le compte d'une personne; selon les termes de Cloudflare, il y a souvent un humain qui attend à l'autre bout. Les bots Training collectent du contenu pour entraîner un modèle, et d'après Cloudflare ce contenu se fond définitivement dans le modèle.

La raison de cette distinction est simple: appliquer la même règle aux trois donne un mauvais résultat. Pensez à une librairie. Celui qui regarde la vitrine et inscrit la boutique dans un guide n'est pas celui qui achète un livre pour votre compte et repart, ni celui qui photocopie tout le catalogue. Cloudflare vous demande de regarder pour quelle raison chaque bot est venu.

• Search: indexe le contenu et renvoie du trafic
• Agent: accomplit une tâche en temps réel pour une personne
• Training: collecte pour entraîner un modèle, le contenu s'y fond définitivement

Sur les domaines nouvellement ajoutés à Cloudflare à partir du 15 septembre 2026, les bots Training et Agent sont bloqués par défaut sur les pages qui affichent des publicités, tandis que les bots Search sont autorisés. Quiconque place un nouveau site derrière Cloudflare se retrouve donc dans cette configuration sans rien faire.

Sur les domaines existants, les réglages restent tels quels. Les commandes se trouvent dans les paramètres de sécurité et sont disponibles dans toutes les formules, y compris Free. Les robots mixtes comme Googlebot, Applebot et Bingbot, qui font à la fois de la recherche et autre chose, sont jugés sur l'ensemble de leur comportement. Cloudflare teste aussi un signal `use=` dans le fichier robots.txt; il le présente comme une expérimentation, pas comme une règle établie.

Selon l'article de Cloudflare du 15 septembre, c'est possible, mais la difficulté tient aux robots mixtes: le même bot peut collecter à la fois pour la recherche et pour l'entraînement. C'est pourquoi Cloudflare fixe quatre conditions pour un robot mixte «responsable», et seuls ceux qui les remplissent continuent d'explorer pour la recherche.

L'article décrit la situation de trois grandes entreprises. Pour Apple, on interdit `Applebot-Extended` avec Disallow. Pour Google, on utilise `Google-Extended`, et il existe en plus, dans le portail webmaster, un interrupteur pour sortir des résultats de recherche génératifs. Pour Microsoft, une balise meta `NOARCHIVE` s'applique pour l'instant; un mécanisme robots.txt au niveau du domaine est cité comme objectif pour début 2027.

• Un mécanisme de refus de l'entraînement dans le style de robots.txt
• Un retrait des résumés générés par l'IA
• La visibilité, au niveau de l'URL, des pages ouvertes à l'entraînement, ainsi que des mesures de recherche
• L'assurance que refuser l'entraînement n'affecte pas les résultats de recherche

L'article de Cloudflare énumère quatre options pour Training. Pour la plupart des entreprises, ce sont les deux du milieu qui méritent réflexion: si vous voulez apparaître dans la recherche sans que votre contenu entre dans les modèles, Disallow AI Training va dans le bon sens. Si vous êtes un éditeur qui dépend des revenus publicitaires, Block on pages with ads est une autre possibilité. Block arrête aussi les robots mixtes et coupe donc également la recherche.

Selon Cloudflare, moins de 1 pour cent de ses sites bloquent les bots de recherche, alors que 17 pour cent bloquent l'entraînement. Refuser l'entraînement n'a donc rien d'inhabituel, tandis que bloquer les bots de recherche est très rare. Une fonction appelée Bot Preference Sync garde votre robots.txt aligné sur ces choix, et Managed Robots.txt est retiré.

• Allow: laisse entrer les bots d'entraînement
• Disallow AI Training: reste dans la recherche, refuse l'entraînement
• Block on pages with ads: bloque sur les pages qui portent des publicités
• Block: arrête aussi les robots mixtes et coupe donc la recherche

L'erreur la plus courante est de choisir Block et de s'apercevoir plus tard que la recherche s'est fermée aussi. La deuxième est de modifier un réglage dans Cloudflare sans vérifier ce que dit réellement le fichier robots.txt. Si les deux niveaux se contredisent, le résultat devient difficile à prévoir; avec notre vérificateur de robots et de sitemap, vous voyez l'état réel de votre fichier en quelques secondes.

La troisième erreur consiste à mettre les bots Agent dans le même sac que les bots d'entraînement. Si un agent agit pour une personne, le bloquer peut revenir à renvoyer cette personne à la porte. La quatrième est de régler une fois et de ne plus jamais y revenir; les bots et les règles changent souvent.

• Choisir Block sans voir que la recherche est fermée aussi
• Ne pas vérifier si le réglage Cloudflare et robots.txt se contredisent
• Traiter les bots Agent et Training comme un seul groupe et tout bloquer
• Régler une fois et oublier

Si votre site n'est pas derrière Cloudflare, ces réglages du tableau de bord n'existent pas; vous exprimez alors votre intention par le fichier robots.txt et les outils de l'hébergeur. Et si votre contenu est de toute façon destiné à être diffusé comme référence ouverte, par exemple une source de connaissances ouverte, refuser l'entraînement peut aller à l'encontre de votre but.

Il y a aussi une chose que nous ignorons: les articles de Cloudflare ne disent pas comment le refus de l'entraînement influe sur le fait qu'un modèle d'IA vous cite. Si votre visibilité vous intéresse, vous pouvez utiliser notre outil de visibilité IA pour voir comment votre marque apparaît dans les réponses et revoir le réglage en conséquence.