Cloudflare, Doğrulanmış botların robots.txt ve 429 uyumunu puanlayacak, güven eşiğini müşteri seçecek
Cloudflare, 16 Ekim 2026 tarihli blog yazısında Doğrulanmış (Verified) botların site tercihlerine ne kadar uyduğunu sürekli ölçen bir sistem tanıttı. Sistem şimdiden Cloudflare içinde kullanılıyor. Müşterilere açılması, puanların Radar'da yayımlanması ve eşiği müşterinin seçmesi ise planlanan adımlar arasında.
Kimliği doğrulanmış bot da kuralına uymayabilir, Cloudflare bunu ölçmek istiyor
Cloudflare'in çıkış noktası şu: bir botun kim olduğunu doğrulamak onu hesap verebilir kılıyor, ama davranışının iyi olacağını garanti etmiyor. Tanınan bir bot da site tercihlerini görmezden gelebilir, kaynak sunucuyu aşırı yükleyebilir ya da kontrolleri dolanabilir; yazıya göre bu çoğu zaman kötü niyetten değil, yanlış yapılandırma veya hatadan kaynaklanıyor. Şirket, zamanla bir bot için güvenilebilir diyebilmek istiyor.
Bunun için Cloudflare, Doğrulanmış botların site tercihlerine ne sıklıkla uyduğunu ölçen bir değerlendirme sistemi kurdu. Yazıda sistemin şimdiden dahili olarak kullanıldığı söyleniyor. Cloudflare bu ilk aşamayı bir davranış geçmişi biriktirmek ve gözlemlerin işe yarar bir yol göstericiye nasıl dönüşeceğini iyileştirmek için kullandığını belirtiyor. Yazının özet mesajı kısa bir cümlede toplanmış: "Verify, but continuously re-verify."
İlk sinyaller robots.txt ve HTTP 429, sonuç bir "güven bandı"
Doğrulanmış olmanın üç şartı var: botun kendini doğru ve güvenli biçimde tanıtması, yalnızca söylediği şeyi yapması ve kötüye kullanıma girmemesi. Kimlik tarafında botlar istekleri Web Bot Auth ile imzalıyor; BotBase ise botları açık bir biçimde kataloglıyor. Yeni sistem bunun üstüne davranış katmanı ekliyor. İlk sinyaller iki başlıkta toplanıyor: botun site talimatlarına uyup uymadığı ve doğrudan geri bildirime nasıl yanıt verdiği.
Talimat tarafında ana kaynak robots.txt (RFC 9309). Sistem tekil bir ihlale değil, zaman içinde tekrar eden görmezden gelme örüntülerine bakıyor; yazı ayrıca robots.txt'in asgari kuralları koyduğunu, belirtilmeyen her şeye izin anlamına gelmediğini vurguluyor. Geri bildirim tarafında HTTP 429 (Too Many Requests) var: bu yanıtın ardından yavaşlayan ya da duran bot zamanla güven kazanıyor, sinyali tekrar tekrar yok sayan bot güven kaybediyor. Sonuçlar, botun tercihlere ne kadar tutarlı uyduğunu ve hangi gözlemlerin bu değerlendirmeyi etkilediğini gösteren açıklanabilir bir güven bandı olarak ifade edilecek. Bu, kalıcı bir hüküm değil. Cloudflare güveni zamana yayılan, tekrarlanan ve tutarlı davranışın ürünü olarak tarif ediyor: "Trust is built over time through repeated and consistent behavior."
Planlananlar ile bugün var olanı ayırmak gerekiyor
Yazıya göre bugün var olan şey, sistemin Cloudflare'in kendi içinde kullanılması. Planlananlar ise şunlar: puanları Radar'da herkese açık paylaşmak, ölçülen davranışları genişletmek ve sistemi tüm Cloudflare müşterilerine sunmak. Müşterilerin Doğrulanmış bot trafiğinin nasıl ele alınacağını belirleyen güven eşiğini kendilerinin seçeceği de bu planın parçası. Yani şu an site sahibinin eline geçmiş bir puan paneli ya da eşik ayarı bildirilmiş değil. Sistem, Bot Preference Sync (site tercihlerinin yayımlanması) ve Bot Management (trafiğin nasıl yönetileceği) ile birlikte çalışacak bir hesap verebilirlik döngüsünün parçası olarak anlatılıyor.
Yazı, davranış ölçümünün neden gerektiğini bir örnekle de gösteriyor: Cloudflare, Perplexity'nin botunu 2025'te Doğrulanmış bot listesinden çıkardı. Gerekçe, botun veri kazınmasını (scraping) reddetmiş sitelerdeki kaynaklara erişmeye çalışması ve bu istekler engellenince kontrolleri aşmaya uğraşmasıydı. Yapay zeka tarayıcılarına izin vermek ya da vermemek site sahipleri için görünürlük ve maliyet kararı olduğundan, botun sözünü tutup tutmadığını gösteren bir ölçü, bu kararı kör değil veriye dayalı vermeye yardım edebilir. Bu cümle yorumumuzdur, yazının iddiası değil. Cloudflare'in bot trafiğine dair önceki haberimiz için 15 Ekim sayısına bakabilirsiniz.
Kaynakta Türkiye yok, bu bölüm UNALSOFT yorumu
Cloudflare yazısında Türkiye'ye, Türkiye'deki botlara ya da yerel müşterilere dair bir bilgi bulunmuyor. Bu bölümde yazanlar kaynaktan çıkan olgular değil, UNALSOFT'un yorumudur. Yorumumuz şu: Cloudflare'i kullanan Türkiye'deki KOBİ siteleri için asıl önemli nokta, eşiği kendilerinin seçebilmesi olacak; ancak bu yalnızca özellik müşterilere sunulursa geçerli.
Bilinmeyenleri tek tek sayalım. Yazıda şunlar belirtilmiyor: müşterilere genel kullanıma açılış tarihi, güven bandı eşikleri ve sayısal puanlar, puanların Radar'da yayımlanma tarihi.
UNALSOFT açısı
Bu haberi bir site sahibinin bot politikası olarak okuyoruz. Hangi tarayıcıya kapıyı açacağınıza karar vermek için önce robots.txt'inizin güncel ve anlaşılır olması gerekiyor; ölçüm sistemleri ne kadar gelişirse gelişsin, bir botun neye uyması gerektiği sitenin kendi talimatlarından başlıyor. Pratikte yapılacaklar sade: robots.txt'i gözden geçirin, hangi botlara izin verdiğinizi bilinçli seçin ve sunucu yanıtlarınızın 429 gibi sinyalleri doğru verdiğinden emin olun. Web tasarım projelerimizde bu teknik zemini sitenin temel parçası sayıyoruz. Kaynakta Türkiye'ye dair veri olmadığından yerel bir olgu iddia etmiyoruz.
Kaynaklar
Sitenizin botlara ne söylediğini biliyor musunuz?
robots.txt'inizi ve sunucu yanıtlarınızı birlikte gözden geçirmek için kısa bir görüşme yeterli.