Site artık Google'da görünür kalırken yapay zeka eğitimini reddedebiliyor
Cloudflare, 15 Eylül 2026'da yayımladığı resmi blog yazısında Disallow AI Training adlı yeni bir ayar duyurdu. Ayar, tercihi robots.txt üzerinden yayımlıyor: Googlebot, Applebot ve Bingbot arama için taramaya devam ederken içeriğin yapay zeka eğitiminde kullanılması reddediliyor. Google ve Apple bunun arama sıralamasını etkilemeyeceğini taahhüt etti; Microsoft ise robots.txt tabanlı mekanizmasını 2027 başı için hazırlıyor. Kontroller ücretsiz plan dahil tüm planlarda sunuluyor.
Tek ayar iki kararı ayırıyor: aramaya evet, eğitime hayır
Cloudflare'in 15 Eylül 2026 tarihli, "Have it both ways: stay discoverable in search while disallowing AI training" başlıklı resmi blog yazısına göre yeni Disallow AI Training ayarı karma kullanımlı tarayıcılar için tasarlandı; yani Google, Apple ve Microsoft gibi şirketlerin hem arama dizini hem de yapay zeka eğitimi için kullandığı botlar için. Yeni ayar tercihi sitenin robots.txt dosyasında yayımlıyor: Googlebot, Applebot ve Bingbot arama taraması için siteye erişmeye devam ediyor, yapay zeka eğitimi ise reddediliyor. Bunun için robots.txt'ye Google tarafında Google-Extended, Apple tarafında Applebot-Extended için Disallow kuralı ekleniyor. Cloudflare, her iki şirketin de bu tercihin arama sıralamasını etkilemediğini taahhüt ettiğini aktarıyor. Search Engine Journal haberi aynı gün Matt G. Southern imzasıyla aktardı ve ilgili Bot Preference Sync özelliğinin Ağustos 2026'da tanıtıldığını hatırlattı. Microsoft tarafında durum şimdilik farklı: Bing eğitim tercihini NOARCHIVE meta etiketiyle alıyor ve robots.txt tabanlı mekanizmasını 2027 başı hedefiyle geliştiriyor.
Üç kontrol, dört seçenek ve 15 Eylül'den geçerli bir geçiş
Cloudflare kontrolleri üç başlığa ayırıyor: Search, Training ve Agent. Seçenekler Allow, Disallow AI Training, Block on pages with ads ve Block; Disallow AI Training yalnızca Training kontrolünde sunuluyor, Block on pages with ads ise tarayıcıları yalnızca reklam tespit edilen sayfalarda engelliyor. Kontroller ücretsiz plan dahil tüm planlarda, alan adı düzeyinde Security Settings altından yapılandırılıyor. Eski Block AI Bots düğmesi ve Managed Robots.txt özelliği kullanımdan kaldırılıyor; Managed Robots.txt kullananlar Bot Preference Sync'e taşınıyor ve değişiklikler 15 Eylül itibarıyla geçerli. Geçiş kuralları şöyle: Training için önceki Block veya Block on pages with ads seçimleri Disallow AI Training'e dönüşüyor; Block AI Bots kapalı olan alan adlarında üç kontrol de Allow kalıyor; açık olanlarda Search Allow, Training Disallow AI Training, Agent Block on pages with ads oluyor. Yeni reklam gelirli alan adları için önerilen varsayılan da aynı üçlü; reklamsız sitelerde üç kontrol Allow ve Preference Sync açık. Google, Google-Extended için URL düzeyinde şeffaflık araçlarını önümüzdeki haftalarda yayına alacağını, Apple ise URL düzeyinde inceleme aracını 2027'de sunacağını bildirdi.
Neden önemli: arama trafiği ile eğitim verisi artık ayrı kararlar
Cloudflare'in kendi verilerine göre platformdaki sitelerin yüzde 1'inden azı arama botlarını engellerken yüzde 17'si eğitimi engelleyen bir mekanizma kullanıyor; talep, aramadan vazgeçmeden eğitime kapanmak yönünde. Aynı yazıya göre tüketicilerin yarıdan fazlası aramada özet okuyor ve özet okuyanların aramayı orada bitirme olasılığı yüzde 40'tan fazla artıyor; buna karşılık yapay zeka aramasından yönlenen tüketiciler geleneksel aramaya göre üç ile beş kat üzeri oranda dönüşüm sağlıyor. Cloudflare bu dengeyi kurmak için karma kullanımlı tarayıcı operatörlerine dört koşulla Accountable etiketi veriyor: robots.txt veya benzeri bir eğitim reddi mekanizması, yapay zeka özetlerinden çıkma seçeneği (şimdilik operatörle doğrudan, gelecek yıl Cloudflare üzerinden), hangi sayfaların eğitime açıldığını gösteren URL düzeyinde görünürlük ve arama metrikleri, eğitim reddinin geleneksel arama sonuçlarını etkilemeyeceği güvencesi. Amazon, Anthropic, Meta ve OpenAI tarayıcıları ayrı arama ve eğitim botları işlettiği için Accountable sayılıyor; Cloudflare Radar bu operatörleri kamuya açık izliyor. Şirket, operatörlerle Temmuz'dan beri doğrudan görüştüğünü, ai-prefs gibi açık standartların önem kazanacağını ve yapay zeka özetleri için içerik hacmi kontrollerini 2027 başına kadar hedeflediğini belirtiyor. Kaynaklarda istatistiklerin dış kaynağı, isimli bir yetkili açıklaması ve robots.txt'nin teknik olarak nasıl düzenlendiği açıklanmadı.
Türkiye'deki siteler için anlamı: önce mevcut Cloudflare ayarını kontrol edin
Önce sınır: iki kaynakta da Türkiye'ye veya bölgeye özel bir bilgi yok; Cloudflare duyuruyu tüm müşterileri için yaptı. Pratik anlamı yine de net, çünkü kontroller ücretsiz plan dahil tüm planlarda alan adı düzeyinde sunuluyor. Türkiye'de Cloudflare kullanan bir KOBİ sitesi, e-ticaret sitesi veya reklam gelirli yayıncı, Google ve Apple aramasında görünür kalmaya devam ederken içeriğinin yapay zeka eğitiminde kullanılmasını tek ayarla reddedebiliyor. Önerdiğimiz sıra şöyle. Birincisi, Cloudflare panelinde Security Settings altındaki üç kontrolü açıp mevcut durumu okuyun; geçiş kuralları eski Block AI Bots ayarına göre otomatik uygulandığı için siteniz siz dokunmadan yeni bir kombinasyona geçmiş olabilir. İkincisi, robots.txt dosyanızı kontrol edin; Google-Extended ve Applebot-Extended satırlarının beklediğiniz gibi yazıldığından emin olun, Managed Robots.txt kullanıyorsanız Bot Preference Sync'e taşındığınızı doğrulayın. Üçüncüsü, Bing trafiği sizin için önemliyse Microsoft'un robots.txt desteğinin 2027 başına kadar gelmeyeceğini bilin; o zamana kadar eğitim tercihi NOARCHIVE meta etiketine bağlı. Dördüncüsü, reklam gelirli bir siteyseniz Agent kontrolündeki Block on pages with ads seçeneğinin hangi sayfaları kapsadığını izleyin.
UNALSOFT açısı
Bizim okumamız şu: robots.txt artık teknik bir ayrıntı değil, sitenin yapay zeka dönemindeki ticari tercihini yazan bir belge. Cloudflare'in verisi site sahiplerinin aramadan vazgeçmeden eğitime kapanmak istediğini gösteriyor; yeni ayar bu iki kararı nihayet ayırıyor. Web tasarım teslimlerimizde robots.txt'yi, tarayıcı tercihlerini ve Cloudflare tarafındaki üç kontrolü açılış kontrol listesinin parçası olarak ele alıyor, içeriğin nerede görüneceğine ve nerede kullanılmayacağına müşteriyle birlikte karar veriyoruz. Ayarların hangi kombinasyonda açılacağı sitenin gelir modeline bağlı: reklam gelirli bir yayıncı ile ürünlerinin satılabileceği her yerde görünmek isteyen bir e-ticaret sitesi aynı seçimi yapmak zorunda değil.
Kaynaklar
Cloudflare Blog, resmi duyuru · Search Engine Journal, haber
Sitenizin yapay zeka tarayıcı ayarlarını birlikte gözden geçirelim mi?
Cloudflare kontrollerinizi, robots.txt dosyanızı ve arama görünürlüğünüzü tek oturumda kontrol edelim. Kısa bir görüşme başlamak için yeterli.