Проверка robots.txt и sitemap
Проверьте robots.txt и sitemap на одном экране без регистрации.
Этот инструмент сначала читает файл robots.txt вашего домена: существует ли он, его размер, число групп правил, предупреждение о Disallow: /, закрывающем весь сайт, строки Sitemap:, значение Crawl-delay и синтаксические ошибки вроде неизвестной директивы. Затем он читает sitemap, указанный в robots.txt, или /sitemap.xml, если такой строки нет; если это индекс, инструмент заходит в первые два вложенных файла, всего загружая не более трёх файлов sitemap.
Отчёт показывает тип sitemap, простой список или индекс, число адресов, долю с датой lastmod, самую новую и самую старую дату lastmod, адреса, указывающие на другой домен, смешение http и https, близость к официальному пределу в 50 000 адресов или 50 МБ, а также наличие тегов hreflang (xhtml:link). Кроме того, он отправляет HEAD-запрос к первым пяти адресам и показывает их коды состояния.
Эта проверка отправляет не более десяти исходящих запросов, поэтому у очень большого индекса sitemap она рассматривает только первые части, а не всё дерево целиком; показанное число адресов отражает прочитанное, а не каждую страницу вашего сайта. Если robots.txt закрывает весь сайт или sitemap вообще не найден, это будет показано отдельным предупреждением, но то, как поисковая система на самом деле обходит ваш сайт, подтверждает только такой инструмент, как Google Search Console.
Частые вопросы
Что если у меня нет sitemap?
Если инструмент не находит строку Sitemap: в robots.txt и ничего по адресу /sitemap.xml, он отмечает это как отсутствующее. В этом случае стоит создать и опубликовать sitemap, чтобы поисковые системы находили ваши адреса.
Читает ли он каждый файл большого индекса sitemap?
Нет, он загружает не более трёх файлов sitemap и заходит только в первые два вложенных файла индекса; отчёт прямо указывает этот предел, а не представляет весь сайт.
Сохраняется ли введённый домен?
Нет, постоянного хранения нет; если тот же домен проверяют повторно вскоре после первой проверки, он остаётся в памяти сервера около десяти минут, а затем удаляется.
Работает ли Crawl-delay в Google?
Google игнорирует эту директиву; Bing и некоторые другие роботы могут её учитывать, поэтому инструмент показывает значение, но его эффект зависит от того, какой робот его читает.
