Crawler IA e robots.txt: consentire o bloccare

Il nome di un crawler di solito suggerisce il suo compito, ma ogni azienda chiama i propri bot in modo diverso. In Anthropic, ClaudeBot raccoglie dati di addestramento, Claude-User visita una pagina dal vivo per conto di un utente, Claude-SearchBot valuta i contenuti per risposte di qualità da motore di ricerca.

Sul versante OpenAI, GPTBot scansiona per addestrare il modello mentre OAI-SearchBot alimenta la funzione di ricerca di ChatGPT; un sito può bloccare GPTBot pur continuando a consentire OAI-SearchBot. Quali sotto-compiti esatti PerplexityBot suddivida tra agenti separati può variare in base alla situazione; l'elenco aggiornato si trova sempre nella documentazione crawler di quella stessa azienda.

Una situazione vista presso un brand e-commerce: il team tecnico ha bloccato PerplexityBot del tutto, «per sicurezza», senza verificare quale sotto-compito gestisse davvero, quando l'unica cosa da evitare era il lato addestramento. Il criterio decisivo è questo: prima di bloccare un bot, conviene confermare esattamente cosa fa nella documentazione di quell'azienda invece di indovinare dal nome; questo controllo di cinque minuti può far risparmiare mesi di visibilità persa per un'ipotesi rivelatasi sbagliata.

Bloccare un bot di addestramento (GPTBot, ClaudeBot) impedisce a quell'azienda di usare i contenuti di un sito nei futuri addestramenti del modello. In cambio, può aumentare anche il rischio di non comparire mai come fonte nelle risposte di quel modello, poiché spesso lo stesso contenuto alimenta sia l'addestramento sia la generazione delle risposte.

Bloccare un bot di ricerca o rivolto all'utente (Claude-User, OAI-SearchBot) produce un risultato diverso: il sito smette semplicemente di comparire nelle risposte dal vivo di quell'assistente. Per un sito e-commerce questa è di solito una perdita indesiderata; per un sito di contenuti in abbonamento può essere una scelta deliberata.

Una situazione vista presso un fornitore di hosting: il team tecnico proponeva di bloccare tutti i bot senza distinzioni per ridurre il carico dei server, mentre il team marketing voleva che il brand continuasse a comparire nelle risposte degli assistenti. Il criterio decisivo è questo: bloccare è un equilibrio che un solo team non dovrebbe fissare da solo, serve qualcuno che valuti insieme carico dei server e obiettivi di visibilità; decidere solo in base al costo può spegnere silenziosamente la visibilità che in realtà si voleva.

Bloccare o consentire un crawler è questione di poche righe di regola in un file robots.txt.

• Aprite il file robots.txt nella radice del sito (per esempio nomesito.com/robots.txt).
• Per un bot da bloccare, scrivete «Disallow: /» sotto una riga «User-agent: GPTBot».
• Per un bot da consentire, aprite un blocco User-agent separato e lasciate vuota la riga «Disallow:».
• Definite ogni bot nel proprio blocco; elencare più nomi di bot in un unico blocco potrebbe non funzionare come previsto.
• Dopo la modifica, verificate direttamente nel browser che il file live sia visualizzato correttamente.

No. La documentazione di Anthropic chiarisce che bloccare ClaudeBot ferma solo la raccolta di dati di addestramento e non riguarda Claude-SearchBot né Claude-User; i tre vengono gestiti separatamente in robots.txt.

Questo significa che un sito può prendere decisioni distinte in base alle proprie priorità: disattivare la raccolta di dati di addestramento continuando comunque a comparire nelle risposte dal vivo dell'assistente è tecnicamente possibile.

Una situazione vista presso un sito di notizie: dopo aver bloccato ClaudeBot, il team ha dato per scontato «non compariamo più affatto su Claude» e, senza accorgersene, ha bloccato anche Claude-SearchBot con la stessa regola generale. Il criterio decisivo è questo: ogni bot ha bisogno della propria riga e di uno scopo dichiarato con chiarezza; applicare un'unica regola a più bot insieme è il modo più comune per bloccare qualcosa che non doveva esserlo.

Un errore frequente visto presso un produttore di pavimenti è bloccare tutti i bot IA con un'unica regola generale, «Disallow: /» sotto «User-agent: *», il che ferma i bot di addestramento indesiderati insieme ai bot di ricerca e assistente che l'azienda voleva davvero.

Un altro errore è aggiornare robots.txt senza verificarlo live; una cache del server o un percorso file sbagliato possono far sì che la modifica non entri mai realmente in vigore.

Il modo reale per misurare l'effetto del bloccare o consentire un bot è leggere i file di log del server; quei log mostrano quale nome di bot visita, con quale frequenza e quali pagine consulta. Senza questi dati, dire che «il traffico dei bot è calato» o che «la visibilità è aumentata» resta un'ipotesi.

Un secondo controllo consiste nel chiedere all'assistente in questione una domanda sul brand qualche settimana dopo una modifica a robots.txt e confrontarla con lo stato precedente; questo mostra il risultato lato utente che i soli log non possono mostrare.

Il criterio decisivo è che una modifica ha bisogno di almeno un mese di finestra prima che il suo effetto sia visibile, poiché i bot rileggono il file secondo la propria frequenza; trarre una conclusione da pochi giorni di osservazione è fuorviante.