ИИ-краулеры и robots.txt: разрешить или заблокировать

Название краулера обычно намекает на его задачу, но у каждой компании свои названия ботов. В Anthropic ClaudeBot собирает обучающие данные, Claude-User посещает живую страницу от имени пользователя, Claude-SearchBot оценивает контент для ответов поискового качества.

Со стороны OpenAI GPTBot сканирует для обучения модели, а OAI-SearchBot питает функцию поиска ChatGPT; сайт может заблокировать GPTBot, продолжая при этом разрешать OAI-SearchBot. То, какие именно подзадачи PerplexityBot распределяет между отдельными агентами, может меняться в зависимости от ситуации; актуальный список всегда находится в собственной документации по краулерам этой компании. Эта разница особенно важна для сайтов, зависящих от органического трафика, а не только от разовых упоминаний.

Ситуация, которую мы видели у бренда электронной коммерции: техническая команда заблокировала PerplexityBot полностью, 'на всякий случай', не проверив, какую именно подзадачу он на самом деле выполняет, хотя избежать хотели только обучающей стороны. Решающий критерий здесь такой: прежде чем блокировать бота, стоит точно узнать из собственной документации этой компании, что он делает, а не гадать по названию; такая пятиминутная проверка может сберечь месяцы потерянной видимости из-за неверного предположения.

Блокировка обучающего бота (GPTBot, ClaudeBot) означает, что эта компания не сможет использовать контент сайта в будущем обучении модели. Взамен может вырасти и риск вообще никогда не появиться в качестве источника в ответах этой модели, поскольку один и тот же контент часто питает и обучение, и генерацию ответов.

Блокировка поискового или пользовательского бота (Claude-User, OAI-SearchBot) даёт другой результат: сайт просто перестаёт появляться в живых ответах этого ассистента. Для сайта электронной коммерции это обычно нежелательная потеря; для сайта с контентом по подписке это может быть осознанным выбором.

Ситуация, которую мы видели у хостинг-провайдера: техническая команда предлагала заблокировать всех ботов подряд, чтобы снизить нагрузку на сервер, а команда маркетинга хотела, чтобы бренд продолжал появляться в ответах ассистентов. Решающий критерий здесь такой: блокировка - это баланс, который не должна устанавливать одна команда, кто-то должен взвешивать нагрузку на сервер и цели по видимости вместе; решение, принятое только по стоимости, может незаметно выключить ту самую видимость, которая на самом деле была нужна.

Блокировка или разрешение краулера сводится к нескольким строкам правила в файле robots.txt.

• Откройте файл robots.txt в корне сайта (например, sitename.com/robots.txt).
• Для бота, которого нужно заблокировать, напишите «Disallow: /» под строкой «User-agent: GPTBot».
• Для бота, которого нужно разрешить, откройте отдельный блок User-agent и оставьте строку «Disallow:» пустой.
• Определяйте каждого бота в собственном блоке; перечисление нескольких имён ботов в одном блоке может работать не так, как ожидается.
• После изменения проверьте прямо в браузере, что живой файл отображается корректно.

Нет. Собственная документация Anthropic указывает, что блокировка ClaudeBot останавливает только сбор обучающих данных и не затрагивает ни Claude-SearchBot, ни Claude-User; все три управляются в robots.txt по отдельности.

Это значит, что сайт может принимать отдельные решения в зависимости от собственных приоритетов: отключить сбор обучающих данных, но при этом продолжать появляться в живых ответах ассистента, технически возможно.

Ситуация, которую мы видели на новостном сайте: заблокировав ClaudeBot, команда решила, что 'мы больше вообще не видны в Claude', и, сама того не заметив, заблокировала под тем же общим правилом ещё и Claude-SearchBot. Решающий критерий здесь такой: каждому боту нужна собственная строка и чётко указанная цель; применение одного правила сразу к нескольким ботам - самый частый способ заблокировать то, что блокировать не планировали.

Частая ошибка, замеченная у производителя напольных покрытий, заключается в том, чтобы блокировать всех ИИ-ботов одним общим правилом, «Disallow: /» под «User-agent: *», что останавливает нежелательных обучающих ботов вместе с поисковыми и ассистентскими ботами, которые бизнес на самом деле хотел оставить.

Другая ошибка заключается в том, чтобы обновить robots.txt и не проверить это в живом виде; кеш сервера или неверный путь к файлу могут привести к тому, что изменение так и не вступит в силу.

Настоящий способ измерить эффект блокировки или разрешения бота - читать файлы журналов сервера; эти журналы показывают, какой именно бот заходит, как часто и какие страницы он забирает. Без этих данных фраза 'трафик ботов упал' или 'видимость выросла' остаётся догадкой.

Вторая проверка - задать соответствующему ассистенту вопрос о бренде через несколько недель после изменения robots.txt и сравнить с прежним состоянием; это показывает результат со стороны пользователя, который одни только журналы показать не могут.

Решающий критерий в том, что изменению нужно как минимум месяц, прежде чем его эффект станет виден, поскольку боты перечитывают файл со своей собственной частотой; делать вывод по наблюдению за несколько дней вводит в заблуждение.