Mayıs 2026'da bot istekleri yaklaşık %60'a ulaştı: Cloudflare AI eğitimi için ücret talep ediyor

Cloudflare($NET) ağı üzerinden geçen web sitesi isteklerinde botların payı Mayıs 2026'da yaklaşık %60'a ulaştı. Bu değişim, şirketin bot ve AI ajanı trafiğinin insan trafiğini aşacağını öngördüğü tarihten yaklaşık bir yıl önce gerçekleşti.

Cloudflare CEO'su Matthew Prince, AI şirketlerinin model geliştirmede kullandığı içerik ve web altyapısı için ödeme yapması gerektiğini savundu. Bunun gerekçesi, AI tarayıcılarının web sitesi içeriklerini alırken gerçek ziyaretçi göndermemesi ve reklam ile abonelik gelirlerine dayanan sitelerin gelir modelini zayıflatabilmesi. Fortune, Prince'in bu görüşü dile getirdiğini aktardı.

Ancak söz konusu %60, tüm internet kullanıcılarının oranını değil, Cloudflare ağı üzerinde gözlemlenen web sitesi isteklerinin payını ifade ediyor. Bot sınıflandırmasına AI eğitim tarayıcılarının yanı sıra arama motoru tarayıcıları, güvenlik tarayıcıları, API istekleri ve çeşitli otomatik talepler dahil olabilir.

Bu nedenle bot isteklerinin insan isteklerinden fazla olması, gerçek ziyaretçi veya benzersiz kullanıcı sayısının insanlardan fazla olduğu anlamına gelmiyor. İstek sıklığı yüksek otomatik programların istatistikler üzerindeki etkisi de dikkate alınmalı.

Cloudflare, 15 Eylül'de web sitesi yöneticilerinin arama amaçlı taramaya izin verirken AI eğitimi amaçlı erişimi kısıtlamasına olanak tanıyan 'Disallow AI Training' ayarını kullanıma sundu. Daha önce arama ve AI eğitimi aynı tarayıcı tarafından yürütülebildiği için AI eğitimini engellemek arama görünürlüğünü de azaltabiliyordu.

Yeni ayar, tarayıcıların amacını Arama(Search), Eğitim(Training) ve Ajan(Agent) trafiği olarak ayırıyor. Web sitesi yöneticileri arama dizinlemesini korurken model eğitimi için gerekli erişimi kısıtlayabiliyor.

Cloudflare, Apple, Google ve Microsoft'un bu ayara saygı göstermeyi veya belirli bir süre içinde desteklemeyi kabul ettiğini açıkladı. Applebot, Googlebot ve Bingbot gibi arama ile eğitimi birlikte yürüten tarayıcılarda yalnızca eğitim amaçlı erişim kısıtlanabiliyor.

Cloudflare'a göre Amazon, Anthropic, Meta ve OpenAI'nin eğitim amaçlı tarayıcıları arama işlevinden ayrı çalışıyor. Bu tarayıcıların engellenmesi arama görünürlüğünü etkilemiyor. Microsoft ise robots.txt üzerinden eğitim reddi sinyalini desteklemeyi 2027'nin başında hedefliyor.

Cloudflare, arama botlarını engelleyen sitelerin toplamın %1'inden az olduğunu, AI eğitimi engelleme özelliğini kısmen etkinleştiren sitelerin ise %17'ye ulaştığını açıkladı. Şirkete göre birçok yönetici arama trafiğini korurken AI eğitimi konusunda ayrı bir tercih yapmak istiyor.

Cloudflare, Haziran 2025 itibarıyla OpenAI'nin tarama ile yönlendirme trafiği oranının 1700'e 1, Anthropic'in ise 73.000'e 1 olduğunu açıkladı. Bu veriler, AI tarayıcılarının içerik toplama ölçeği ile kaynak sitelere geri dönen ziyaretçiler arasında fark bulunduğunu gösteriyor.

Bu yapı, reklam ve abonelikleri temel gelir kaynağı olarak kullanan web sitelerinin çıkarlarıyla çatışabilir. Arama motorları içerikleri topladıktan sonra sonuçlar üzerinden ziyaretçileri siteye yönlendirirken, AI eğitim tarayıcıları içeriği modele dahil ettikten sonra okurları kaynak siteye göndermeyebilir.

Cloudflare, Temmuz 2025'te 'Pay Per Crawl' fikrini de açıkladı. Bu modelde web sitesi yöneticileri AI tarayıcılarının erişim fiyatını belirliyor, AI şirketleri ise içeriğe erişim ücreti ödüyor.

Ancak katılacak şirketler, içerik başına fiyatlar ve gelir paylaşımı modeli henüz belirlenmedi. AI şirketleri kullanım ücreti ödese bile tüm içerik üreticilerinin otomatik olarak tazmin edilmesi gerekmiyor; sözleşme koşulları ve paylaşım yapısı ayrıca ele alınmalı.

Yalnızca robots.txt kullanarak tüm tarayıcıların erişimini kontrol etmek de zor. Cloudflare, robots.txt'nin tarayıcının kimliğini ve erişim amacını doğrulamadığını, ayrıca talimat ihlalini zorunlu olarak engelleyen bir araç olmadığını belirtti.

Daha önce Twitch'in AI eğitimine varsayılan olarak izin vermesi ve içerik üreticilerinin tepkisini çekmesi örneğinde olduğu gibi, içerik sağlayıcılarının eğitime izin verip vermemeyi doğrudan seçebilmesi sektörün gündemindeki başlıklardan biri haline geldi. Cloudflare'ın yeni ayarı, arama görünürlüğü ile AI eğitimi onayını birbirinden ayırmaya yönelik teknik bir yaklaşım sunuyor.

Cloudflare, arama, eğitim ve ajan trafiğini ayıran kontrol sistemini genişletiyor. Microsoft ise robots.txt tabanlı eğitim reddi sinyali desteğini 2027'nin başında sunmayı hedefliyor. 'Pay Per Crawl' modelinin gerçek kullanım ölçeği ve içerik erişim ücretlerinin paylaşım yöntemi ise ilerleyen dönemde yapılacak görüşmelerde ele alınacak.