Robots.txt-Generator
Wählen Sie Regeln, Sitemap-Adressen und KI-Crawler-Berechtigungen und laden Sie Ihre robots.txt herunter.
Dieses Werkzeug erstellt die robots.txt-Datei, die Suchmaschinen und KI-Crawlern sagt, welche Ordner sie durchsuchen dürfen, vollständig in Ihrem Browser; starten Sie mit einer fertigen Vorlage oder fügen Sie jeder User-Agent-Gruppe eigene Allow- und Disallow-Zeilen hinzu. KI-Crawler wie GPTBot, ClaudeBot und PerplexityBot erhalten einen eigenen Abschnitt, in dem Sie jeden einzeln erlauben, blockieren oder unangetastet lassen können, mit Kurzwegen, um alle zu erlauben oder nur Trainings-Crawler mit einem Klick zu blockieren. Nichts, was Sie eingeben, wird an einen Server gesendet, die Datei entsteht vollständig in Ihrem Browser.
Die von Ihnen erstellten Regeln erscheinen unten in einer Live-Vorschau; unter jeder User-Agent-Gruppe werden Allow- und Disallow-Zeilen der Reihe nach aufgelistet, der spezifischste Pfad setzt sich meist durch. Ein Pfad muss beim Disallow immer mit einem Schrägstrich beginnen, sonst können Crawler die Regel ignorieren; Disallow: / unter User-agent: * nimmt Ihre gesamte Seite aus dem Crawling, deshalb markiert das Werkzeug diese Zeile mit einer eigenen Warnung. Sitemap-Zeilen müssen vollständige Adressen sein, die mit https:// beginnen, ein relativer Pfad wird nicht akzeptiert.
Dieses Werkzeug erstellt nur die Datei, es lädt sie nirgendwo hoch; Sie müssen den erzeugten Text selbst kopieren und im Stammverzeichnis Ihrer Seite als robots.txt ablegen. Eine Crawl-delay-Zeile lässt sich hinzufügen, aber Google ignoriert diese Anweisung vollständig, nur manche anderen Crawler beachten sie. robots.txt ist eine Bitte, kein Schloss: Bots, die sich nicht an Regeln halten, können das hier Geschriebene trotzdem ignorieren, für Seiten, die wirklich verborgen bleiben müssen, braucht es Passwortschutz oder eine Zugriffsbeschränkung auf Serverebene.
Häufige Fragen
Wie füge ich die erstellte Datei meiner Seite hinzu?
Speichern Sie den kopierten oder heruntergeladenen Text als robots.txt und laden Sie ihn ins Stammverzeichnis Ihrer Seite hoch, sodass er unter ihredomain.de/robots.txt erreichbar ist.
Was passiert, wenn ich Disallow: / schreibe?
Diese Zeile nimmt Ihre gesamte Seite für diese User-Agent-Gruppe aus dem Crawling; das Werkzeug markiert sie mit einer eigenen Warnung, weil das oft versehentlich die ganze Seite aus den Suchergebnissen verschwinden lässt.
Wenn ich KI-Crawler blockiere, erscheint meine Seite dann noch bei Google?
Ja, das Blockieren von KI-Trainings-Crawlern wie Google-Extended beeinflusst Googlebots Suchcrawling nicht; es sind getrennte User-Agents, und der Kurzweg in diesem Werkzeug beachtet diesen Unterschied.
Wird etwas, das ich eingebe, gespeichert?
Nein, dieses Werkzeug läuft vollständig in Ihrem Browser; keine Regel und keine Adresse, die Sie eingeben, wird jemals an einen Server gesendet oder gespeichert.
