Extracteur d'URL de sitemap
Rassemblez les adresses d'un sitemap dans une liste, filtrez-les et téléchargez-les en TXT ou CSV.
Outil
Cet outil prend un nom de domaine ou directement l'adresse d'un sitemap et rassemble les adresses de pages du plan du site dans une seule liste. Avec un domaine, les lignes Sitemap: du robots.txt sont lues en premier et /sitemap.xml est essayé s'il n'y en a pas ; si l'adresse est un index de sitemap, les fichiers enfants sont lus dans l'ordre. Pour chaque entrée, les champs loc, lastmod, changefreq et priority sont analysés ; les entités XML et les préfixes d'espace de noms sont résolus, et les entrées récupérables dans des fichiers aux balises fermantes manquantes ou au contenu tronqué figurent quand même dans la liste, le problème étant signalé sur la carte du fichier.
Les cases de synthèse indiquent le nombre total d'adresses, le nombre de fichiers lus, les entrées sans lastmod, les adresses présentes plusieurs fois et les entrées pointant hors du domaine du sitemap ; les groupes de chemins résument la répartition des adresses selon le premier segment de chemin. La liste peut être réduite par un filtre textuel, copiée sous forme d'adresses seules, une par ligne, ou téléchargée en CSV avec les colonnes loc, lastmod, changefreq et priority. Ce résultat sert à faire l'inventaire avant une migration de site, à préparer une table de redirections, à observer la structure des pages d'un site concurrent ou à alimenter une vérification de liens morts.
L'outil lit au plus 10 fichiers de sitemap, prend les 1,5 premiers Mo de chacun et liste au plus 5 000 adresses ; les totaux portent sur toutes les entrées lues, la partie listée est indiquée à part. Les fichiers compressés (.gz) sont décompressés ; ceux dont le contenu décompressé dépasse 8 Mo apparaissent comme erreurs dans la liste des fichiers. L'outil ne vérifie pas si les adresses répondent réellement ni si elles respectent le robots.txt ; utilisez pour cela l'Audit robots.txt et sitemap, et le Générateur de sitemap pour créer un nouveau fichier. Seule l'adresse saisie est lue, et le résultat reste 10 minutes en cache.
Questions fréquentes
Quels fichiers sitemap sont lus ?
Avec un domaine, les lignes Sitemap: du robots.txt, ou /sitemap.xml s'il n'y en a pas ; avec une adresse .xml directe, seulement ce fichier et, s'il s'agit d'un index, ses fichiers enfants. Au plus 10 fichiers sont téléchargés au total.
J'ai plus de 5 000 adresses, puis-je toutes les obtenir ?
Les totaux portent sur toutes les entrées, mais la liste et les fichiers téléchargés se limitent aux 5 000 premières adresses. Pour les sites plus grands, saisissez un à un les fichiers enfants de l'index et téléchargez chacun séparément.
Qu'est-ce qu'un doublon ?
La même adresse présente dans plusieurs fichiers ou plusieurs fois dans le même fichier ; la première occurrence est conservée, les autres vont au compteur de doublons. Le protocole sitemap attend chaque adresse une seule fois.
L'adresse saisie est-elle conservée ?
Pas de façon permanente ; si la même adresse est demandée à nouveau peu après, le résultat reste environ 10 minutes en mémoire du serveur pour répondre plus vite, puis il est supprimé.
