Cloudflare KI-Bots: in der Suche bleiben, Training sperren

Laut Cloudflares Beitrag vom 1. Juli 2026 fallen KI-Bots in drei Klassen. Search-Bots nehmen Inhalte in einen Index auf, um später antworten zu können, und sollen dafür Besucher auf die Website weiterleiten. Agent-Bots handeln in Echtzeit im Auftrag eines Menschen; nach Cloudflares Worten wartet am anderen Ende oft ein Mensch. Training-Bots sammeln Inhalte, um ein Modell zu trainieren, und diese Inhalte gehen nach Angaben von Cloudflare dauerhaft im Modell auf.

Der Grund für die Trennung ist einfach: Eine einzige Regel für alle drei führt zu einem falschen Ergebnis. Stellen Sie sich eine Buchhandlung vor. Wer ins Schaufenster schaut und den Laden in einen Führer einträgt, ist etwas anderes als jemand, der in Ihrem Auftrag ein Buch kauft und geht, und wieder etwas anderes als jemand, der den gesamten Katalog kopiert. Cloudflare bittet Sie, bei jedem Bot darauf zu achten, wofür er gekommen ist.

• Search: nimmt Inhalte in den Index auf und schickt dafür Besucher zurück
• Agent: erledigt in Echtzeit eine Aufgabe für einen Menschen
• Training: sammelt zum Training eines Modells, die Inhalte gehen dauerhaft im Modell auf

Auf Domains, die ab dem 15. September 2026 neu zu Cloudflare hinzukommen, sind Training- und Agent-Bots auf Seiten mit Werbeanzeigen standardmäßig blockiert, Search-Bots dagegen erlaubt. Wer also eine neue Website hinter Cloudflare legt, landet ohne eigenes Zutun in dieser Anordnung.

Bei bestehenden Domains bleiben die Einstellungen, wie sie waren. Die Regler finden Sie unter den Sicherheitseinstellungen, und sie stehen in allen Tarifen zur Verfügung, auch im Free-Tarif. Mischcrawler wie Googlebot, Applebot und Bingbot, die sowohl suchen als auch anderes tun, werden nach ihrem gesamten Verhalten beurteilt. Außerdem erprobt Cloudflare ein Signal namens `use=` in der robots.txt; das Unternehmen beschreibt es als Versuch, nicht als etablierte Regel.

Laut Cloudflares Beitrag vom 15. September geht das, die Schwierigkeit liegt aber bei den Mischcrawlern: Derselbe Bot kann sowohl für die Suche als auch für das Training sammeln. Deshalb nennt Cloudflare vier Bedingungen für einen «verantwortlichen» Mischcrawler, und nur wer sie erfüllt, crawlt weiter für die Suche.

Der Beitrag beschreibt die Lage bei drei großen Unternehmen. Bei Apple sperren Sie `Applebot-Extended` mit Disallow. Bei Google verwenden Sie `Google-Extended`, und im Webmaster-Portal gibt es zusätzlich einen Schalter, um generative Suchergebnisse zu verlassen. Bei Microsoft gilt vorerst ein `NOARCHIVE`-Meta-Tag; ein robots.txt-Mechanismus auf Domain-Ebene wird als Ziel für Anfang 2027 genannt.

• Ein Widerspruchsmechanismus gegen das Training im Stil der robots.txt
• Ein Opt-out aus KI-Zusammenfassungen
• Sichtbarkeit auf URL-Ebene, welche Seiten für das Training offen sind, plus Suchmetriken
• Die Zusicherung, dass der Widerspruch gegen das Training die Suchergebnisse nicht beeinträchtigt

Cloudflares Beitrag nennt vier Optionen für das Training. Für die meisten Unternehmen kommen die mittleren beiden in Frage: Wenn Sie in der Suche auftauchen, Ihre Inhalte aber nicht in Modellen sehen wollen, weist Disallow AI Training in die richtige Richtung. Wer als Verlag von Werbeeinnahmen abhängt, kann auch Block on pages with ads wählen. Block stoppt außerdem Mischcrawler und schneidet damit auch die Suche ab.

Laut Cloudflare sperren weniger als 1 Prozent seiner Websites Suchbots, 17 Prozent sperren das Training. Das Training zu sperren ist also nicht ungewöhnlich, Suchbots auszusperren kommt dagegen selten vor. Eine Funktion namens Bot Preference Sync hält Ihre robots.txt im Einklang mit diesen Entscheidungen, Managed Robots.txt wird eingestellt.

• Allow: lässt Trainings-Bots herein
• Disallow AI Training: bleibt in der Suche, sperrt das Training
• Block on pages with ads: sperrt auf Seiten mit Werbeanzeigen
• Block: stoppt auch Mischcrawler und schneidet damit die Suche ab

Der häufigste Fehler ist, Block zu wählen und erst später zu merken, dass damit auch die Suche geschlossen wurde. Der zweite ist, in Cloudflare etwas einzustellen, ohne nachzusehen, was die robots.txt tatsächlich sagt. Widersprechen sich die beiden Ebenen, lässt sich das Ergebnis schwer vorhersagen; mit unserer Robots- und Sitemap-Prüfung sehen Sie den Live-Stand Ihrer Datei in wenigen Sekunden.

Der dritte Fehler ist, Agent-Bots mit Trainings-Bots in einen Topf zu werfen. Kommt ein Agent im Auftrag eines Menschen, kann seine Sperre bedeuten, diesen Menschen an der Tür abzuweisen. Der vierte Fehler ist, die Einstellung einmal vorzunehmen und nie wieder hinzusehen; Bots und Regeln ändern sich häufig.

• Block wählen und nicht merken, dass auch die Suche geschlossen ist
• Nicht prüfen, ob Cloudflare-Einstellung und robots.txt sich widersprechen
• Agent- und Training-Bots gleich behandeln und beide sperren
• Die Einstellung einmal vornehmen und vergessen

Liegt Ihre Website nicht hinter Cloudflare, gibt es diese Einstellungen im Dashboard nicht; Ihre Absicht teilen Sie dann über die robots.txt und die Werkzeuge auf der Hosting-Seite mit. Und wenn Ihre Inhalte ohnehin als offene Referenz verbreitet werden sollen, etwa bei einer offenen Wissensquelle, kann das Sperren des Trainings Ihrem Zweck sogar zuwiderlaufen.

Es gibt auch etwas, das wir nicht wissen: Wie sich ein Widerspruch gegen das Training darauf auswirkt, ob ein KI-Modell Sie nennt, sagen Cloudflares Beiträge nicht. Wenn Sie Ihre Sichtbarkeit interessiert, können Sie mit unserem KI-Sichtbarkeits-Tool prüfen, wie Ihre Marke in Antworten vorkommt, und die Einstellung danach überprüfen.