Sitelerin %17'si AI eğitimi taramasını engelliyor: Cloudflare yeni ayarı açtı

Cloudflare($NET), web sitesi yöneticilerinin arama dizinlemesini korurken içeriklerinin yapay zeka (AI) eğitimi için kullanılmasını reddedebilmesini sağlayan ayarı tüm müşterilerine sundu.

Cloudflare, 15'inde 'Disallow AI Training' ayarını kullanıma açtı. Bu ayar, arama ve AI model eğitimi için birlikte kullanılan karma tarayıcıları ayırt ederek işlem yapılmasını sağlıyor.

Şirket, kendi sitelerinin yaklaşık %17'sinin bir biçimde AI eğitimi taramasını zaten engellediğini açıkladı. Arama tarayıcılarını engelleyen sitelerin oranı ise %1'in altında kaldı.

Site yöneticisi yeni ayarda AI eğitiminin reddedilmesini seçtiğinde Cloudflare bu tercihi robots.txt dosyasına işler. Kriterleri karşılayan karma tarayıcılar arama dizinlemesi için erişmeye devam edebilirken, yalnızca eğitim amacıyla kullanılan tarayıcılar engellenir.

İlgili tüm tarayıcıların erişimini durduran 'Block' seçildiğinde arama erişimi de engellenir. Böylece ayar, arama trafiği ile içeriğin AI eğitimi için kullanılmasını ayrı ayrı yönetme tercihine göre değişir.

Cloudflare, mevcut 'Block AI Bots' özelliğinin yerine arama, eğitim ve ajanlar için ayrı ayarlar getirdi. Ajanlar, kullanıcı adına web sayfalarını ziyaret eden otomatik araçları ifade ediyor.

Şirket, reklam geliriyle çalışan siteler için eğitim tarayıcılarını reddetmeyi, reklamların gösterildiği sayfalarda ajanları engellemeyi ve aramaya izin vermeyi önerdi. Yeni alan adlarında varsayılan ayarlar gelir modeline göre farklı uygulanıyor.

Cloudflare ayrıca tarayıcı işletmecileri için sorumluluk kriterleri açıkladı. Bu kriterler arasında AI eğitimi ve AI özetlerini reddetme araçları, içerik kullanım durumunun URL bazında açıklanması ve eğitim erişiminin geleneksel arama sonuçlarını etkilemediğinin doğrulanması yer alıyor.

Apple($AAPL), Google($GOOG) ve Microsoft($MSFT), bu kriterleri karşılayan veya belirli bir süre içinde karşılayacağını açıklayan işletmeciler olarak sınıflandırıldı. Amazon($AMZN), Anthropic, Meta($META) ve OpenAI ise arama ve eğitim tarayıcılarını ayrı işleten ilgili tarayıcıları sorumlu işletmeci kategorisine dahil edilen şirketler arasında yer aldı.

Cloudflare, arama ve AI eğitimini birlikte gerçekleştiren karma tarayıcıların kendi ağında tespit edilen tarayıcı trafiğinin %36,6'sını oluşturduğunu açıkladı. Şirket, bu nedenle tek bir engelleme düğmesi yerine içerik kullanım amacını ayıran bir politikaya ihtiyaç olduğunu belirtti.

Adım, AI hizmetlerinin web içeriklerini arama, özetleme ve eğitim süreçlerinde kullanması karşısında içerik sağlayıcılarının kontrol alanını ayrıştırmaya yönelik eğilimle örtüşüyor. Türkiye'de de arama API verilerinin AI eğitimi ve yanıt üretiminde kullanımını sınırlayan Naver politikası açıklanmıştı.

Ancak AI özetleri üzerindeki kontrolün hâlâ her tarayıcı işletmecisi için ayrı ayrı yapılandırılması gerekiyor. Cloudflare, web sitesi yöneticilerinin AI özetlerine dahil edilecek içerik kapsamını tek bir noktadan ayarlayabilmesini sağlayacak özelliği gelecek yılın başına kadar hazırlamayı planlıyor.