Generatore di robots.txt

Questo strumento crea il file robots.txt che indica ai motori di ricerca e ai crawler IA quali cartelle possono scansionare, interamente nel suo browser; parta da un modello pronto oppure aggiunga le proprie righe Allow e Disallow a ogni gruppo User-agent. I crawler IA come GPTBot, ClaudeBot e PerplexityBot hanno una sezione propria dove può consentire, bloccare o lasciare intatto ciascuno, con scorciatoie per consentire tutto o bloccare solo l'addestramento con un clic. Nulla di ciò che inserisce viene inviato a un server, il file viene costruito interamente nel suo browser.

Le regole che crea appaiono qui sotto in un'anteprima dal vivo; sotto ogni gruppo User-agent, le righe Allow e Disallow sono elencate in ordine, e il percorso più specifico di solito prevale. Bloccare un percorso con Disallow richiede sempre che inizi con una barra, altrimenti i crawler possono ignorare la regola; scrivere Disallow: / sotto User-agent: * toglie tutto il suo sito dalla scansione, per questo lo strumento segnala quella riga con un avviso separato. Le righe sitemap devono essere indirizzi completi che iniziano con https://, un percorso relativo non viene accettato.

Questo strumento crea solo il file, non lo carica da nessuna parte; deve copiare il testo generato e collocarlo lei stesso nella radice del suo sito con il nome robots.txt. Si può aggiungere una riga Crawl-delay ma Google la ignora completamente, solo alcuni altri crawler la considerano. robots.txt è una richiesta, non un lucchetto: i bot che non rispettano le regole possono comunque ignorare quanto scritto qui, le pagine che devono davvero restare nascoste richiedono una protezione con password o una restrizione di accesso lato server.