Sitemap-URL-Extraktor
Adressen einer Sitemap in einer Liste sammeln, filtern und als TXT oder CSV herunterladen.
Tool
Dieses Werkzeug nimmt eine Domain oder direkt eine Sitemap-Adresse entgegen und sammelt die Seitenadressen der Sitemap in einer einzigen Liste. Bei einer Domain werden zuerst die Sitemap:-Zeilen der robots.txt gelesen, fehlen sie, wird /sitemap.xml versucht; ist die Adresse ein Sitemap-Index, werden die Unterdateien der Reihe nach gelesen. Für jeden Eintrag werden loc, lastmod, changefreq und priority ausgewertet; XML-Entitäten und Namensraum-Präfixe werden aufgelöst, und Einträge, die sich aus Dateien mit fehlenden schließenden Tags oder abgeschnittenem Inhalt retten lassen, erscheinen trotzdem in der Liste, mit einem Hinweis auf der Dateikarte.
Die Übersichtskästen zeigen die Gesamtzahl der Adressen, die Zahl der gelesenen Dateien, Einträge ohne lastmod, mehrfach vorkommende Adressen und Einträge, die auf eine andere Domain als die der Sitemap zeigen; die Pfadgruppen fassen zusammen, wie sich die Adressen auf das erste Pfadsegment verteilen. Die Liste lässt sich mit einem Textfilter eingrenzen, nur als Adressen zeilenweise kopieren oder als CSV mit den Spalten loc, lastmod, changefreq und priority herunterladen. Das eignet sich für eine Bestandsaufnahme vor einem Website-Umzug, das Vorbereiten einer Weiterleitungstabelle, den Blick auf die Seitenstruktur einer Konkurrenzseite oder als Eingabe für eine Prüfung defekter Links.
Das Werkzeug liest höchstens 10 Sitemap-Dateien, nimmt je Datei die ersten 1,5 MB und listet höchstens 5.000 Adressen; die Zahlen gelten für alle gelesenen Einträge, der gelistete Teil wird gesondert angegeben. Komprimierte (.gz) Dateien werden entpackt; Dateien, deren entpackter Inhalt 8 MB übersteigt, werden in der Dateiliste als Fehler markiert. Ob die Adressen tatsächlich erreichbar sind oder den robots.txt-Regeln entsprechen, wird nicht geprüft; dafür gibt es die Robots.txt- und Sitemap-Prüfung, und für eine neue Datei den Sitemap-Generator. Es wird nur die eingegebene Adresse gelesen, das Ergebnis bleibt 10 Minuten im Cache.
Häufige Fragen
Welche Sitemap-Dateien werden gelesen?
Bei einer Domain die Sitemap:-Zeilen der robots.txt, oder /sitemap.xml, wenn es keine gibt; bei einer direkten .xml-Adresse nur diese Datei und, falls sie ein Index ist, ihre Unterdateien. Insgesamt werden höchstens 10 Dateien geladen.
Ich habe mehr als 5.000 Adressen, bekomme ich alle?
Die Zahlen gelten für alle Einträge, die Liste und die Download-Dateien sind aber auf die ersten 5.000 Adressen begrenzt. Bei größeren Websites geben Sie die Unterdateien des Index einzeln ein und laden jede für sich herunter.
Was gilt als doppelte Adresse?
Dieselbe Adresse in mehreren Dateien oder mehrfach in derselben Datei; das erste Vorkommen bleibt, der Rest zählt zum Duplikat-Zähler. Das Sitemap-Protokoll erwartet jede Adresse nur einmal.
Wird die eingegebene Adresse gespeichert?
Nicht dauerhaft; wird dieselbe Adresse kurz darauf erneut abgefragt, bleibt das Ergebnis für eine schnellere Antwort etwa 10 Minuten im Serverspeicher und wird dann gelöscht.
