Yapay Zekâ Tarayıcıları ve robots.txt: İzin mi, Engel mi

Bir tarayıcının adı genelde işini de anlatıyor ama her şirketin kendi adlandırması farklı. Anthropic'te ClaudeBot eğitim verisi topluyor, Claude-User bir kullanıcı adına canlı sayfa ziyaret ediyor, Claude-SearchBot arama kalitesi için içeriği değerlendiriyor.

OpenAI tarafında GPTBot model eğitimi için tarama yapıyor, OAI-SearchBot ise ChatGPT'nin arama özelliğini besliyor; bir sitenin GPTBot'u engelleyip OAI-SearchBot'a izin vermesi mümkün. PerplexityBot'un tam olarak hangi alt görevleri ayrı botlarla yürüttüğü duruma bağlı değişebiliyor; en güncel liste her zaman ilgili şirketin kendi tarayıcı dokümantasyonunda.

Bir e-ticaret markasında gördüğümüz sahne: teknik ekip PerplexityBot'un hangi alt görevi yürüttüğünü bilmeden 'ne olur ne olmaz' diyerek tamamen engellemişti, oysa asıl istenmeyen yalnızca eğitim tarafıydı. Karar kriteri şu: bir botu engellemeden önce o botun tam olarak hangi işi yaptığını ilgili şirketin kendi dokümantasyonundan doğrulamak gerekiyor; adına bakarak tahmin etmek yanlış karara götürebiliyor. Bu kontrol beş dakikalık bir arama, ihmal edildiğinde aylarca sürecek bir görünürlük kaybına dönüşebiliyor.

Bir eğitim botunu (GPTBot, ClaudeBot gibi) engellemek, sitenin içeriğinin o şirketin gelecekteki model eğitiminde kullanılmasını engelliyor demektir. Bunun karşılığında sitenin, o modelin ürettiği cevaplarda kaynak olarak hiç görünmeme riski de artabiliyor; bu iki şey birbirine bağlı çünkü aynı içerik hem eğitimde hem cevap üretiminde kullanılabiliyor.

Bir arama ya da kullanıcı botunu (Claude-User, OAI-SearchBot gibi) engellemek ise farklı bir sonuç doğuruyor: site, o asistanın canlı sorulara verdiği cevaplarda hiç görünmüyor. Bir e-ticaret sitesi için bu genelde istenmeyen bir kayıp, abonelik temelli bir içerik sitesi için ise bilinçli bir tercih olabiliyor.

Bir hosting sağlayıcısında gördüğümüz sahne: teknik ekip, sunucu maliyetini düşürmek için tüm botları topluca engellemeyi önerdi, pazarlama ekibi ise asistan cevaplarında görünmek istiyordu. Karar kriteri şu: engelleme kararı tek bir ekibin değil, hem sunucu yükünü hem görünürlük hedefini bilen birinin vermesi gereken bir denge; sadece maliyete bakıp karar vermek, istenen görünürlüğü de birlikte kapatabiliyor.

Bir tarayıcıyı engellemek ya da izin vermek robots.txt dosyasında birkaç satırlık bir kural demektir.

Bir e-ticaret sitesinde gördüğümüz sahne: geliştirici kuralı yazarken hangi yolun kapalı kalması gerektiğini tam düşünmemiş, bir bota istemeden yönetim paneline giden bir yolu da açık bırakmıştı. Karar kriteri şu: robots.txt yalnız bot adını değil, hangi yolların kapalı kalması gerektiğini de düşünerek yazılmalı; bir satırlık kural, dikkatsiz yazıldığında beklenmedik bir sonuç doğurabiliyor.

• Sitenin kök dizinindeki robots.txt dosyasını açın (örnek: siteadi.com/robots.txt).
• Engellemek istediğiniz bot için 'User-agent: GPTBot' satırının altına 'Disallow: /' yazın.
• İzin vermek istediğiniz bot için ayrı bir User-agent bloğu açıp 'Disallow:' satırını boş bırakın.
• Her botu ayrı bir blokta tanımlayın; tek bir blokta birden fazla bot adı yazmak beklendiği gibi çalışmayabilir.
• Değişiklikten sonra dosyanın canlıda doğru göründüğünü tarayıcıdan doğrudan kontrol edin.

Hayır. Anthropic'in kendi açıklamasına göre ClaudeBot'u engellemek yalnız eğitim verisi toplamayı durduruyor, Claude-SearchBot ya da Claude-User'ı etkilemiyor; bu üçü robots.txt'te ayrı ayrı yönetiliyor.

Bu, sitenin isteğine göre ayrı ayrı karar verebileceği anlamına geliyor: eğitim verisi toplanmasın ama canlı asistan cevaplarında görünsün gibi bir tercih teknik olarak mümkün.

Bir haber sitesinde gördüğümüz sahne: ClaudeBot'u engelledikten sonra 'artık Claude'da hiç görünmeyiz' diye düşünüp Claude-SearchBot'u da farkında olmadan aynı kuralla kapatmışlardı. Karar kriteri şu: her bot ayrı bir satırda, ayrı bir amaçla tanımlanmalı; tek bir kuralı birden fazla bota uygulamak, istemeden fazla şeyi kapatmanın en sık yolu.

Bir zemin kaplama üreticisinde gördüğümüz sık hata, tüm yapay zekâ botlarını tek bir kuralla ('User-agent: *' altına 'Disallow: /') topluca engellemek; bu, istenmeyen eğitim botlarıyla birlikte istenen arama ve asistan botlarını da engelliyor.

Bir diğer hata, robots.txt'i güncelleyip canlıda kontrol etmemek; sunucu önbelleği ya da yanlış dosya yolu yüzünden değişiklik hiç yayına girmemiş olabiliyor.

Üçüncü sık hata, robots.txt kuralını yalnızca ana alan adında güncellemek, alt alan adlarını (blog, mağaza gibi) unutmak; her alt alan adının kendi robots.txt dosyası olduğu, birinde yapılan değişikliğin diğerine yansımadığı gözden kaçabiliyor.

Bir botu engellemenin ya da izin vermenin gerçek etkisini ölçmenin yolu, sunucu log kayıtlarına bakmak; bu kayıtlarda hangi bot adının ne sıklıkla geldiği, hangi sayfaları çektiği görülüyor. Bu veri olmadan 'bot trafiği azaldı' ya da 'görünürlük arttı' demek bir tahmin olarak kalır.

İkinci ölçüt, robots.txt değişikliğinden birkaç hafta sonra ilgili asistana markayla ilgili bir soru sorup önceki duruma göre bir fark olup olmadığına bakmak; bu, log verisinin tek başına veremediği, kullanıcı tarafındaki sonucu gösteriyor.

Karar kriteri şu: değişikliğin etkisini görmek için en az bir aylık bir pencere gerekiyor, botlar dosyayı kendi sıklıklarında yeniden okuyor; birkaç günlük bir gözlemden sonuç çıkarmak yanıltıcı oluyor.