Robots.txt Oluşturucu
Kuralları, sitemap adreslerini ve yapay zekâ tarayıcı izinlerini seçin, robots.txt dosyanızı indirin.
Bu araç, arama motoru ve yapay zekâ tarayıcılarına hangi klasörleri tarayıp hangilerini taramayacaklarını söyleyen robots.txt dosyasını tarayıcınızda oluşturur; hazır şablonlardan başlayabilir ya da User-agent gruplarına kendi Allow ve Disallow satırlarınızı ekleyebilirsiniz. GPTBot, ClaudeBot, PerplexityBot gibi yapay zekâ tarayıcıları için ayrı bir bölümde her birine izin verebilir, engelleyebilir ya da dokunmadan bırakabilirsiniz; üstteki kısayollar hepsine izin vermeyi ya da yalnızca eğitim amaçlı tarayıcıları engellemeyi tek tıkla yapar. Girdiğiniz hiçbir bilgi bir sunucuya gönderilmez, dosya tamamen tarayıcınızda oluşturulur.
Oluşturduğunuz kurallar aşağıda canlı önizlemede görünür; her User-agent grubunun altında Allow ve Disallow satırları sırayla listelenir, en spesifik yol genellikle en belirleyici olur. Bir yolu Disallow ile kapatırken yolun mutlaka / ile başlaması gerekir, aksi halde tarayıcılar kuralı görmezden gelebilir; User-agent: * için Disallow: / yazmak sitenizin tamamını taramadan çıkarır, bu yüzden araç bu satırı gördüğünde ayrı bir uyarı gösterir. Sitemap satırları https:// ile başlayan tam adresler olmalıdır, göreli yol kabul edilmez.
Bu araç yalnızca dosyayı oluşturur, sitenize yüklemez; oluşan metni kopyalayıp sitenizin kök dizinine robots.txt adıyla kendiniz yerleştirmeniz gerekir. Crawl-delay satırı eklenebilir ama Google bu yönergeyi tamamen yok sayar, yalnızca bazı diğer tarayıcılar dikkate alır. robots.txt bir engelleme değil bir davettir: kurallara uymayan kötü niyetli botlar burada yazılanı yine de göz ardı edebilir, gerçekten gizli tutulması gereken sayfalar için parola koruması ya da sunucu düzeyinde erişim kısıtlaması gerekir.
Sık sorulanlar
Oluşturduğum dosyayı siteme nasıl eklerim?
İndirdiğiniz ya da kopyaladığınız metni robots.txt adıyla kaydedip sitenizin kök dizinine, yani alanadiniz.com/robots.txt olarak erişilecek konuma yüklemeniz gerekir.
Disallow: / yazarsam ne olur?
Bu satır o User-agent grubu için sitenizin tamamını taramadan çıkarır; araç bu satırı gördüğünde ayrı bir uyarı gösterir, çünkü çoğu zaman istemeden tüm siteyi arama sonuçlarından gizlemeye yol açar.
Yapay zekâ tarayıcılarını engellersem sitem Google'da görünmeye devam eder mi?
Evet, Google-Extended gibi yapay zekâ eğitim tarayıcılarını engellemek Googlebot'un arama taramasını etkilemez; ikisi ayrı User-agent'lardır ve araçtaki kısayol bu ayrımı gözetir.
Girdiğim bilgiler bir yere kaydediliyor mu?
Hayır, bu araç tamamen tarayıcınızda çalışır; girdiğiniz hiçbir kural ya da adres bir sunucuya gönderilmez ya da saklanmaz.
