Cloudflare yapay zekâ botları: aramada kal, eğitime hayır

Cloudflare'in 1 Temmuz 2026 tarihli yazısına göre yapay zekâ botları üç sınıfa ayrılıyor. Search botları içeriği sonradan cevap vermek için dizine ekler ve karşılığında yönlendirme trafiği bekler. Agent botları gerçek zamanda bir insan adına çalışır; Cloudflare'in ifadesiyle çoğu zaman uçta bekleyen bir insan vardır. Training botları ise modeli eğitmek için içerik toplar ve Cloudflare'e göre bu içerik modele kalıcı olarak karışır.

Ayrımın nedeni basit: üçüne aynı kuralı uygulamak yanlış sonuç verir. Bir kitapçı düşünün. Vitrine bakıp dükkânı rehbere yazan biri başka, sizin adınıza kitap alıp çıkan biri başka, tüm kataloğu fotokopiyle çoğaltan biri başkadır. Cloudflare da her botun ne için geldiğine bakmanızı istiyor.

• Search: içeriği dizine ekler, karşılığında trafik gönderir
• Agent: bir insan adına gerçek zamanda iş yapar
• Training: modeli eğitmek için toplar, içerik modele kalıcı karışır

Cloudflare'a 15 Eylül 2026'dan itibaren yeni eklenen alan adlarında, reklam gösteren sayfalarda Training ve Agent botları varsayılan olarak engelli, Search botları ise izinli. Yani yeni bir siteyi Cloudflare'e bağlayan biri, hiçbir şey yapmadan bu düzene girer.

Mevcut alan adlarında ayarlar olduğu gibi kalıyor. Ayarlar Security ayarları altında ve Free dahil tüm planlarda bulunuyor. Googlebot, Applebot ve Bingbot gibi hem arama hem başka işler yapan karma tarayıcılar, tüm davranışlarına göre değerlendiriliyor. Cloudflare ayrıca robots.txt içinde `use=` adlı bir sinyali deniyor; bunu denenen bir uygulama olarak anlatıyor, yerleşmiş bir kural olarak değil.

Cloudflare'in 15 Eylül tarihli yazısına göre mümkün, ama zorluk karma tarayıcılardadır: aynı bot hem arama hem eğitim için içerik toplayabilir. Cloudflare bu yüzden «hesap verebilir» karma tarayıcı için dört şart tanımlıyor ve yalnız bu şartları sağlayanlar aramaya devam ediyor.

Yazıda üç büyük şirketin durumu şöyle anlatılıyor. Apple için `Applebot-Extended` kuralıyla Disallow verilir. Google için `Google-Extended` kullanılır ve ayrıca webmaster portalında üretken arama sonuçlarından çıkarma anahtarı vardır. Microsoft için şimdilik `NOARCHIVE` meta etiketi geçerlidir; alan düzeyinde robots.txt mekanizması 2027 başı için hedef olarak anılıyor.

• robots.txt benzeri bir eğitim opt-out mekanizması
• Yapay zekâ özetlerinden çıkma opt-out'u
• Hangi sayfaların eğitime açıldığına dair URL düzeyinde görünürlük ve arama metrikleri
• Eğitime kapanmanın arama sonuçlarını etkilemeyeceği güvencesi

Cloudflare'in yazısı Training için dört seçenek sayıyor. Çoğu işletme için ortadaki iki seçenek tartışılır: aramada görünmek istiyor ama içeriğinin modele girmesini istemiyorsanız Disallow AI Training doğru yöndür. Reklam gelirine bağlı bir yayıncıysanız Block on pages with ads de bir seçenektir. Block ise karma tarayıcıları da durdurduğu için aramayı da keser.

Cloudflare'in yazısına göre sitelerinin yüzde 1'inden azı arama botlarını, yüzde 17'si eğitimi engelliyor. Yani eğitime kapanmak sıradışı değil, arama botlarını kapatmak ise çok az görülüyor. Bot Preference Sync adlı özellik robots.txt dosyanızı bu tercihlerle hizalı tutar; Managed Robots.txt emekli oluyor.

• Allow: eğitim botlarına izin verir
• Disallow AI Training: aramada kalır, eğitime kapanır
• Block on pages with ads: reklamlı sayfalarda engeller
• Block: karma tarayıcıları da durdurur, aramayı da keser

En sık hata, Block seçip bunun aramayı da kapattığını sonradan fark etmektir. İkinci hata, Cloudflare'de ayar yapıp robots.txt dosyasının gerçekte ne söylediğine bakmamaktır. İki katman çelişirse sonucu tahmin etmek zorlaşır; robots ve sitemap denetimi aracımızla dosyanızın canlı hâlini birkaç saniyede görebilirsiniz.

Üçüncü hata, Agent botlarını eğitim botlarıyla aynı kefeye koymaktır. Agent bir insan adına geliyorsa, onu engellemek o insanı kapıdan çevirmek olabilir. Dördüncü hata, ayarı bir kez yapıp bir daha bakmamaktır; botlar ve kurallar sık değişiyor.

• Block seçip aramanın da kapandığını fark etmemek
• Cloudflare ayarı ile robots.txt'in çelişmesine bakmamak
• Agent ve Training botlarını aynı sayıp hepsini kapatmak
• Ayarı bir kez yapıp unutmak

Siteniz Cloudflare arkasında değilse bu panel ayarları yoktur; niyetinizi robots.txt ile ve barındırma tarafındaki araçlarla anlatırsınız. Bir de içeriğiniz zaten herkese açık bir referans olarak dağıtılmak içinse, örneğin açık bir bilgi kaynağıysanız, eğitime kapanmak amacınıza ters düşebilir.

Bilmediğimiz bir şey de var: eğitime kapanmanın bir yapay zekâ modelinin sizi anmasını nasıl etkilediğini Cloudflare'in yazıları söylemiyor. Görünürlüğünüzü merak ediyorsanız yapay zekâ görünürlük aracımızla markanızın cevaplarda nasıl geçtiğine bakıp ayarı ona göre gözden geçirebilirsiniz.