KI-Sichtbarkeitsprüfung
Sehen Sie auf einen Blick, ob KI-Crawler Ihre Website lesen dürfen, direkt aus der robots.txt.
Dieses Tool liest die robots.txt Ihrer Website und zeigt den Berechtigungsstatus von vier KI-Crawlern: GPTBot von OpenAI, ClaudeBot von Anthropic, PerplexityBot von Perplexity und Google-Extended, das steuert, ob Googles eigene KI-Produkte (AI Overviews, Gemini) Ihre Inhalte nutzen dürfen. Ist ein Bot blockiert, kann der jeweilige Dienst Ihre Inhalte nicht sehen und Sie in Antworten nicht als Quelle nennen.
Zusätzlich prüft es drei weitere Punkte: ob eine llms.txt-Datei vorhanden ist (eine aufkommende, noch nicht offiziell standardisierte Methode, um KI-Systemen Ihre Website zusammenzufassen), ob Ihre sitemap.xml erreichbar ist, und ob Ihre Seiten strukturierte Daten (schema.org) enthalten. Strukturierte Daten helfen sowohl Suchmaschinen als auch KI-Systemen zu verstehen, um welche Art von Inhalt es sich handelt, etwa Artikel, Produkt oder FAQ.
Diese Prüfung liest nur die Berechtigungseinstellungen, sie misst nicht, wie oft Bots Ihre Website tatsächlich besuchen oder wie oft Sie in KI-Antworten erscheinen. Einen Bot in der robots.txt zuzulassen garantiert keine Sichtbarkeit, es entfernt nur die Sperre, der Inhalt selbst muss weiterhin offen, korrekt und gut zitierbar sein.
So funktioniert es
- Geben Sie die Adresse Ihrer Website ein.
- Starten Sie die Prüfung, die robots.txt wird automatisch gelesen.
- Sehen Sie, welcher der vier Bots gegebenenfalls blockiert ist.
- Prüfen Sie den Status von llms.txt, Sitemap und strukturierten Daten.
- Entfernen Sie die Sperre für jeden in der robots.txt blockierten Bot.
Häufige Fragen
Verringert das Blockieren von GPTBot meinen Traffic?
Das Blockieren von GPTBot verhindert, dass ChatGPT Ihre Inhalte für Training oder Live-Antworten nutzt; Ihr bestehender Suchtraffic bleibt unberührt, da dieser von einem anderen Bot, dem Googlebot, gesteuert wird.
Ist llms.txt verpflichtend?
Nein, es ist noch kein offizieller Standard; manche Websites fügen es hinzu, um KI-Systemen eine Inhaltszusammenfassung zu bieten, aber kein System liest es garantiert.
Falle ich aus der Google-Suche, wenn ich Google-Extended blockiere?
Nein, Google-Extended steuert nur die Inhaltsnutzung für Gemini und AI Overviews; Ihre Sichtbarkeit in der klassischen Google-Suche bleibt unberührt, da diese vom Googlebot gesteuert wird.
Erscheine ich ohne strukturierte Daten gar nicht in KI-Antworten?
Sie können erscheinen, aber strukturierte Daten zeigen Art und Zusammenhänge Ihrer Inhalte klarer, was die Chance auf eine korrekte Zitierung erhöht.
