Robots.txt
Kurzdefinition
Robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Website, die Suchmaschinen und anderen Crawlern sagt, welche Seiten sie crawlen dürfen.
Eine Website kann über robots.txt Bereiche für Crawler sperren, die nichts in Suchergebnissen zu suchen haben, etwa ein Verwaltungspanel oder eine Warenkorbseite. Die Datei ist eine Anweisung, keine Regel, wohlerzogene Crawler halten sich daran, doch sie ist keine erzwingbare Schranke.
Wird robots.txt falsch geschrieben, kann versehentlich die gesamte Website vom Crawling ausgeschlossen werden, was sie komplett aus den Suchergebnissen verschwinden lässt. Neuerdings wird die Datei auch genutzt, um anzugeben, ob KI-Crawler Inhalte als Trainingsdaten sammeln dürfen.
Robots.txt wird oft mit dem Noindex-Tag verwechselt, dabei erfüllen beide unterschiedliche Aufgaben: Ein Disallow verhindert das Crawlen einer Seite, verlinkt jedoch eine andere Seite darauf, kann eine Suchmaschine die Adresse trotzdem ohne Beschreibung auflisten, um eine Seite wirklich aus dem Index zu entfernen, braucht es ein Noindex-Tag oder einen Entfernungsantrag. Wie die Datei tatsächlich gelesen wird, lässt sich über das URL-Prüftool der Google Search Console nachvollziehen.
Warum es wichtig ist
Eine falsch konfigurierte robots.txt kann eine gesamte Website oder ihre wichtigsten Seiten für eine Suchmaschine unsichtbar machen. Die richtige Einrichtung hält Seiten verborgen, die es bleiben sollen, und stellt sicher, dass wichtige Seiten gecrawlt werden.
Beispielszenario
Bei einem Software-Update blieb versehentlich eine robots.txt-Zeile stehen, die die gesamte Website blockierte, und das Unternehmen verschwand eine Woche lang komplett aus der Suche.
