Bot IA di Cloudflare: restare nella ricerca, non nell'addestramento

Secondo l'articolo di Cloudflare del 1° luglio 2026, i bot IA si dividono in tre classi. I bot Search indicizzano i contenuti per poter rispondere in seguito e si aspettano in cambio traffico di rinvio. I bot Agent agiscono in tempo reale per conto di una persona; nelle parole di Cloudflare, spesso c'è un essere umano che aspetta dall'altra parte. I bot Training raccolgono contenuti per addestrare un modello e, secondo Cloudflare, quei contenuti si fondono nel modello in modo permanente.

Il motivo della divisione è semplice: applicare un'unica regola a tutte e tre dà un risultato sbagliato. Pensi a una libreria. Chi guarda la vetrina e inserisce il negozio in una guida è una cosa, chi compra un libro per suo conto e se ne va è un'altra, e chi fotocopia l'intero catalogo è un'altra ancora. Cloudflare le chiede di guardare per quale motivo è venuto ciascun bot.

• Search: indicizza i contenuti e rimanda traffico
• Agent: svolge un compito in tempo reale per una persona
• Training: raccoglie per addestrare un modello e i contenuti vi restano assorbiti per sempre

Sui domini aggiunti a Cloudflare a partire dal 15 settembre 2026, i bot Training e Agent sono bloccati per impostazione predefinita sulle pagine che mostrano pubblicità, mentre i bot Search sono consentiti. Chi mette un sito nuovo dietro Cloudflare si trova quindi in questa configurazione senza fare nulla.

Sui domini esistenti le impostazioni restano com'erano. I controlli si trovano nelle impostazioni di sicurezza e sono disponibili in tutti i piani, Free compreso. I crawler misti come Googlebot, Applebot e Bingbot, che cercano e fanno anche altro, vengono valutati sull'insieme del loro comportamento. Cloudflare sta inoltre provando un segnale `use=` in robots.txt; lo descrive come un esperimento, non come una regola consolidata.

Secondo l'articolo di Cloudflare del 15 settembre, si può, ma la difficoltà sta nei crawler misti: lo stesso bot può raccogliere sia per la ricerca sia per l'addestramento. Per questo Cloudflare fissa quattro condizioni per un crawler misto «responsabile», e solo chi le soddisfa continua a scansionare per la ricerca.

L'articolo descrive la situazione di tre grandi aziende. Per Apple si vieta `Applebot-Extended` con Disallow. Per Google si usa `Google-Extended`, e nel portale per i webmaster c'è inoltre un interruttore per uscire dai risultati di ricerca generativi. Per Microsoft, per ora vale un meta tag `NOARCHIVE`; un meccanismo robots.txt a livello di dominio è indicato come obiettivo per l'inizio del 2027.

• Un meccanismo di esclusione dall'addestramento in stile robots.txt
• Un'esclusione dai riepiloghi generati dall'IA
• Visibilità a livello di URL su quali pagine sono aperte all'addestramento, più metriche di ricerca
• La garanzia che escludersi dall'addestramento non influisca sui risultati di ricerca

L'articolo di Cloudflare elenca quattro opzioni per Training. Per la maggior parte delle aziende, quelle da valutare sono le due centrali: se vuole comparire nella ricerca ma tenere i suoi contenuti fuori dai modelli, Disallow AI Training va nella direzione giusta. Se è un editore che dipende dai ricavi pubblicitari, Block on pages with ads è un'altra possibilità. Block ferma anche i crawler misti e quindi taglia fuori anche la ricerca.

Secondo Cloudflare, meno dell'1 per cento dei suoi siti blocca i bot di ricerca, mentre il 17 per cento blocca l'addestramento. Escludersi dall'addestramento non è dunque inusuale, mentre bloccare i bot di ricerca è raro. Una funzione chiamata Bot Preference Sync mantiene il suo robots.txt allineato a queste scelte, e Managed Robots.txt viene ritirato.

• Allow: lascia entrare i bot di addestramento
• Disallow AI Training: resta nella ricerca, si esclude dall'addestramento
• Block on pages with ads: blocca sulle pagine che mostrano pubblicità
• Block: ferma anche i crawler misti e quindi taglia fuori la ricerca

L'errore più comune è scegliere Block e scoprire solo dopo che si è chiusa anche la ricerca. Il secondo è cambiare un'impostazione in Cloudflare senza controllare cosa dice davvero il robots.txt. Se i due livelli si contraddicono, il risultato è difficile da prevedere; con il nostro controllo di robots e sitemap vede lo stato reale del suo file in pochi secondi.

Il terzo errore è mettere i bot Agent nello stesso mazzo di quelli di addestramento. Se un agente agisce per conto di una persona, bloccarlo può significare lasciare quella persona sulla porta. Il quarto è impostare una volta e non guardare mai più; i bot e le regole cambiano spesso.

• Scegliere Block senza accorgersi che anche la ricerca è chiusa
• Non controllare se l'impostazione di Cloudflare e il robots.txt si contraddicono
• Trattare i bot Agent e Training come una cosa sola e bloccarli entrambi
• Impostare una volta e dimenticare

Se il suo sito non è dietro Cloudflare, queste impostazioni del pannello non esistono; le sue intenzioni le esprime tramite robots.txt e gli strumenti lato hosting. E se i suoi contenuti sono comunque pensati per essere diffusi come riferimento aperto, ad esempio una fonte di conoscenza aperta, escludersi dall'addestramento può andare contro il suo scopo.

C'è anche qualcosa che non sappiamo: gli articoli di Cloudflare non dicono come l'esclusione dall'addestramento influisca sul fatto che un modello di IA la citi. Se la sua visibilità le sta a cuore, può usare il nostro strumento di visibilità IA per vedere come compare il suo marchio nelle risposte e rivedere l'impostazione di conseguenza.