Générateur de robots.txt
Choisissez vos règles, adresses sitemap et permissions pour robots IA, puis téléchargez votre robots.txt.
Cet outil construit le fichier robots.txt qui indique aux moteurs de recherche et aux robots d'IA quels dossiers ils peuvent explorer, dans votre navigateur ; partez d'un modèle prêt à l'emploi ou ajoutez vos propres lignes Allow et Disallow à chaque groupe. Les robots d'IA comme GPTBot, ClaudeBot et PerplexityBot ont leur propre section pour autoriser, bloquer ou laisser chacun tel quel, avec des raccourcis pour tout autoriser ou bloquer seulement l'entraînement en un clic. Rien de ce que vous saisissez n'est envoyé à un serveur, le fichier est entièrement construit dans votre navigateur.
Les règles que vous créez apparaissent ci-dessous dans un aperçu en direct ; sous chaque groupe User-agent, les lignes Allow et Disallow sont listées dans l'ordre, et le chemin le plus spécifique l'emporte généralement. Bloquer un chemin avec Disallow exige toujours qu'il commence par une barre oblique, sinon les robots peuvent ignorer la règle ; écrire Disallow: / sous User-agent: * retire tout votre site de l'exploration, l'outil signale donc cette ligne par un avertissement séparé. Les lignes sitemap doivent être des adresses complètes commençant par https://, un chemin relatif n'est pas accepté.
Cet outil ne fait que créer le fichier, il ne le met en ligne nulle part ; copiez le texte généré et placez-le vous-même à la racine de votre site sous le nom robots.txt. Une ligne Crawl-delay peut être ajoutée mais Google ignore complètement cette directive, seuls certains autres robots en tiennent compte. robots.txt est une demande, pas un verrou : des robots mal élevés peuvent tout de même ignorer ce qui est écrit ici, les pages qui doivent vraiment rester cachées ont besoin d'un mot de passe ou d'une restriction d'accès côté serveur.
Questions fréquentes
Comment ajouter le fichier généré à mon site ?
Enregistrez le texte copié ou téléchargé sous le nom robots.txt et téléversez-le à la racine de votre site, pour qu'il soit accessible sur votredomaine.com/robots.txt.
Que se passe-t-il si j'écris Disallow: / ?
Cette ligne retire tout votre site de l'exploration pour ce groupe User-agent ; l'outil la signale par un avertissement séparé, car cela masque souvent tout le site des résultats de recherche par erreur.
Si je bloque les robots d'IA, mon site apparaîtra-t-il toujours sur Google ?
Oui, bloquer les robots d'entraînement d'IA comme Google-Extended n'affecte pas l'exploration de recherche de Googlebot ; ce sont des User-agents distincts, et le raccourci de cet outil respecte cette distinction.
Ce que je saisis est-il conservé quelque part ?
Non, cet outil fonctionne entièrement dans votre navigateur ; aucune règle ni adresse que vous saisissez n'est jamais envoyée à un serveur ni conservée.
