Извлечение URL из sitemap
Соберите адреса из sitemap в один список, отфильтруйте и скачайте в TXT или CSV.
Инструмент
Инструмент принимает домен или прямой адрес sitemap и собирает адреса страниц из карты сайта в один список. Для домена сначала читаются строки Sitemap: в robots.txt, а если их нет, проверяется /sitemap.xml; если адрес ведёт на индекс sitemap, дочерние файлы читаются по порядку. Для каждой записи разбираются поля loc, lastmod, changefreq и priority; XML-сущности и префиксы пространств имён раскрываются, а записи, которые удаётся восстановить из файлов без закрывающих тегов или с обрезанным содержимым, всё равно попадают в список, а проблема отмечается на карточке файла.
Сводные поля показывают общее число адресов, число прочитанных файлов, записи без lastmod, адреса, встречающиеся более одного раза, и записи, ведущие за пределы домена sitemap; группы путей показывают, как адреса распределены по первому сегменту пути. Список можно сузить текстовым фильтром, скопировать только адреса по одному в строке или скачать в CSV со столбцами loc, lastmod, changefreq и priority. Результат пригодится для инвентаризации перед переносом сайта, подготовки таблицы редиректов, изучения структуры страниц конкурента или как входные данные для проверки битых ссылок.
Инструмент читает не более 10 файлов sitemap, берёт первые 1,5 МБ каждого и показывает не более 5000 адресов; подсчёты относятся ко всем прочитанным записям, а показанная часть указывается отдельно. Сжатые (.gz) файлы распаковываются; файлы, превышающие 8 МБ в распакованном виде, помечаются в списке файлов как ошибка. Инструмент не проверяет, открываются ли адреса на самом деле и соответствуют ли они robots.txt; для этого есть Проверка robots.txt и sitemap, а для создания нового файла Генератор Sitemap. Читается только введённый адрес, результат хранится в кэше 10 минут.
Частые вопросы
Какие файлы sitemap читаются?
Для домена строки Sitemap: из robots.txt, а если их нет, /sitemap.xml; для прямого адреса .xml только этот файл и, если это индекс, его дочерние файлы. Всего скачивается не более 10 файлов.
У меня больше 5000 адресов, можно получить все?
Подсчёты относятся ко всем записям, но список и файлы для скачивания ограничены первыми 5000 адресами. Для крупных сайтов вводите дочерние файлы индекса по одному и скачивайте каждый отдельно.
Что считается дубликатом адреса?
Один и тот же адрес в нескольких файлах или несколько раз в одном файле; первое вхождение остаётся, остальные идут в счётчик дубликатов. Протокол sitemap предполагает, что каждый адрес указан один раз.
Сохраняется ли введённый адрес?
Не постоянно; если тот же адрес запрашивают снова в ближайшее время, результат около 10 минут хранится в памяти сервера для быстрого ответа, затем удаляется.
