Генератор robots.txt

Этот инструмент создаёт файл robots.txt, который сообщает поисковым системам и ИИ-краулерам, какие папки можно сканировать, полностью в вашем браузере; начните с готового шаблона или добавьте собственные строки Allow и Disallow в каждую группу User-agent. Для ИИ-краулеров вроде GPTBot, ClaudeBot и PerplexityBot есть отдельный раздел, где можно разрешить, заблокировать или не трогать каждого из них, а кнопки сверху разрешают всё сразу или блокируют только обучающие краулеры одним нажатием. Ничего из введённого не отправляется на сервер, файл собирается полностью в вашем браузере.

Составленные вами правила видны ниже в живом предпросмотре; под каждой группой User-agent строки Allow и Disallow перечислены по порядку, а самый конкретный путь обычно оказывается решающим. Запрещая путь через Disallow, он всегда должен начинаться со слэша, иначе краулеры могут проигнорировать правило; строка Disallow: / под User-agent: * убирает из сканирования весь сайт целиком, поэтому инструмент отдельно предупреждает об этой строке. Строки Sitemap должны быть полными адресами, начинающимися с https://, относительный путь не принимается.

Этот инструмент только создаёт файл и никуда его не загружает; готовый текст нужно скопировать и самостоятельно разместить в корне сайта под именем robots.txt. Строку Crawl-delay можно добавить, но Google полностью её игнорирует, учитывают её лишь некоторые другие краулеры. robots.txt это просьба, а не замок: недобросовестные боты, не соблюдающие правила, всё равно могут игнорировать написанное здесь, а страницам, которые действительно должны оставаться скрытыми, нужна защита паролем или ограничение доступа на уровне сервера.