ИИ-боты Cloudflare: остаться в поиске и закрыться от обучения

Согласно публикации Cloudflare от 1 июля 2026 года, ИИ-боты делятся на три класса. Боты Search индексируют контент, чтобы потом отвечать на вопросы, и ждут взамен переходов на сайт. Боты Agent работают в реальном времени от имени человека; по словам Cloudflare, на другом конце часто ждёт живой человек. Боты Training собирают контент для обучения модели, и, по данным Cloudflare, этот контент навсегда растворяется в модели.

Причина разделения проста: одно и то же правило для всех трёх даёт неверный результат. Представьте книжный магазин. Один человек смотрит на витрину и вносит магазин в путеводитель, другой покупает книгу по вашему поручению и уходит, третий снимает ксерокопию со всего каталога. Cloudflare просит вас смотреть, зачем пришёл каждый бот.

• Search: индексирует контент и возвращает трафик
• Agent: выполняет задачу в реальном времени для человека
• Training: собирает данные для обучения модели, контент навсегда остаётся в ней

На доменах, добавленных в Cloudflare с 15 сентября 2026 года, боты Training и Agent по умолчанию заблокированы на страницах с рекламой, а боты Search разрешены. Так что тот, кто подключает новый сайт к Cloudflare, попадает в такую схему, ничего не делая.

На уже существующих доменах настройки остаются прежними. Переключатели находятся в разделе настроек безопасности и доступны на всех тарифах, включая Free. Краулеры смешанного назначения, такие как Googlebot, Applebot и Bingbot, которые и ищут, и делают что-то ещё, оцениваются по всему их поведению. Кроме того, Cloudflare пробует сигнал `use=` в файле robots.txt; он описывает это как эксперимент, а не как устоявшееся правило.

Согласно публикации Cloudflare от 15 сентября, можно, но трудность связана с краулерами смешанного назначения: один и тот же бот может собирать данные и для поиска, и для обучения. Поэтому Cloudflare задаёт четыре условия для «ответственного» краулера смешанного назначения, и только те, кто их выполняет, продолжают обход для поиска.

В публикации описано положение трёх крупных компаний. Для Apple запрет ставится на `Applebot-Extended` через Disallow. Для Google используется `Google-Extended`, а ещё в портале для вебмастеров есть переключатель, позволяющий выйти из генеративной поисковой выдачи. Для Microsoft пока действует метатег `NOARCHIVE`; механизм robots.txt на уровне домена назван целью на начало 2027 года.

• Механизм отказа от обучения в духе robots.txt
• Отказ от попадания в краткие ИИ-сводки
• Видимость на уровне URL, какие страницы открыты для обучения, а также поисковые метрики
• Гарантия, что отказ от обучения не повлияет на результаты поиска

В публикации Cloudflare перечислено четыре варианта для Training. Для большинства компаний стоит взвесить два средних: если вы хотите быть в поиске, но не хотите, чтобы ваш контент попадал в модели, Disallow AI Training указывает в нужную сторону. Если вы издатель и зависите от рекламного дохода, вариантом будет и Block on pages with ads. Block же останавливает и краулеры смешанного назначения, поэтому закрывает ещё и поиск.

По данным Cloudflare, меньше 1 процента его сайтов блокируют поисковых ботов, а 17 процентов блокируют обучение. Значит, закрыться от обучения это обычное дело, а блокировать поисковых ботов случается очень редко. Функция Bot Preference Sync держит ваш robots.txt в согласии с этими решениями, а Managed Robots.txt выводится из эксплуатации.

• Allow: пускает обучающих ботов
• Disallow AI Training: остаётесь в поиске, закрываетесь от обучения
• Block on pages with ads: блокирует на страницах с рекламой
• Block: останавливает и краулеры смешанного назначения, поэтому закрывает поиск

Самая частая ошибка: выбрать Block и позже обнаружить, что закрылся и поиск. Вторая: изменить настройку в Cloudflare, не посмотрев, что на самом деле написано в robots.txt. Если два уровня противоречат друг другу, результат трудно предсказать; с помощью нашей проверки robots и sitemap вы за несколько секунд увидите актуальное состояние файла.

Третья ошибка: ставить ботов Agent в один ряд с обучающими ботами. Если агент приходит от имени человека, его блокировка может означать, что этого человека развернули у двери. Четвёртая ошибка: настроить один раз и больше не заглядывать; боты и правила меняются часто.

• Выбрать Block и не заметить, что поиск тоже закрыт
• Не проверить, не противоречат ли настройка Cloudflare и robots.txt друг другу
• Считать ботов Agent и Training одним и тем же и блокировать обоих
• Настроить один раз и забыть

Если ваш сайт работает не за Cloudflare, этих настроек в панели у вас нет; своё намерение вы выражаете через robots.txt и инструменты на стороне хостинга. А если ваш контент и так предназначен для распространения как открытый справочный материал, например открытый источник знаний, то отказ от обучения может пойти вразрез с вашей целью.

Есть и то, чего мы не знаем: в публикациях Cloudflare не сказано, как отказ от обучения влияет на то, упомянет ли вас ИИ-модель. Если вам интересна ваша видимость, вы можете воспользоваться нашим инструментом ИИ-видимости, посмотреть, как ваш бренд появляется в ответах, и пересмотреть настройку с учётом этого.