Robots.txt ve Sitemap Denetimi
robots.txt ve sitemap dosyalarınızı tek ekranda, kayıt olmadan denetleyin.
Bu araç önce alan adınızın robots.txt dosyasını okur: dosyanın var olup olmadığını, boyutunu, kural grubu sayısını, tüm siteyi kapatan Disallow: / uyarısını, Sitemap: satırlarını, Crawl-delay değerini ve bilinmeyen yönerge gibi sözdizimi hatalarını gösterir. Ardından robots.txt'te belirtilen ya da bulunamazsa /sitemap.xml adresindeki sitemap dosyasını okur; sitemap dizinse ilk iki alt dosyaya iner, toplamda en çok üç sitemap dosyası indirilir.
Rapor sitemap türünü (tekil liste ya da dizin), adres sayısını, lastmod bilgisi bulunan oranı, en yeni ve en eski lastmod tarihini, farklı bir alan adına işaret eden adresleri, http ve https karışımını, resmî 50.000 adres ya da 50 MB sınırına yakınlığı ve hreflang (xhtml:link) etiketlerinin varlığını gösterir. Sitemap içindeki ilk beş adrese ayrıca HEAD isteği atılarak durum kodları listelenir.
Bu denetim dışarıya en çok on istek gönderir, bu yüzden çok büyük sitemap dizinlerinin tamamını değil yalnızca ilk birkaç parçasını inceler; sonuçta gösterilen adres sayısı sitenizin tüm sayfalarını değil, okunan dosyalardaki toplamı yansıtır. robots.txt tüm siteyi kapatıyorsa ya da sitemap hiç bulunamıyorsa bunu ayrı bir uyarı olarak görürsünüz, ama arama motorunun sitenizi gerçekte nasıl taradığını yalnızca Google Search Console gibi bir araçla teyit edebilirsiniz.
Sık sorulanlar
Sitemap dosyam yoksa ne olur?
Araç robots.txt'te Sitemap: satırı bulamaz ve /sitemap.xml adresinde de bir şey görmezse bunu eksik olarak işaretler; bu durumda arama motorlarına adreslerinizi bildirmek için bir sitemap oluşturup yayınlamanız önerilir.
Sitemap dizinim çok fazla dosya içeriyorsa hepsini okur mu?
Hayır, araç en çok üç sitemap dosyası indirir ve bir dizinse yalnızca ilk iki alt dosyaya iner; rapor bu sınırı açıkça belirtir, tüm site sayısını temsil etmez.
Girdiğim alan adı saklanıyor mu?
Hayır, kalıcı olarak saklanmaz; aynı alan adı kısa süre içinde tekrar sorulursa hızlı yanıt için yaklaşık on dakika sunucu belleğinde tutulur, sonra silinir.
Crawl-delay ayarım Google'da işe yarar mı?
Google bu yönergeyi yok sayar; Bing ve bazı diğer tarayıcılar dikkate alabilir, bu yüzden araç değeri gösterir ama etkisi tarayıcıya göre değişir.
