OpenAI, robots.txt’deki ortak yapay zekâ eğitim sinyalini uygulamayı hedefliyor

OpenAI, web sitesi yöneticilerinin yapay zekâ eğitimine ilişkin tercihlerini birden fazla şirkete bildirmesini sağlayan ortak robots.txt sinyaline saygı göstereceğini açıkladı.

OpenAI, 30 Ekim 2026 tarihli duyurusunda sinyali ‘önümüzdeki birkaç ay içinde’ uygulamayı hedeflediğini bildirdi. Şirket, kesin takvimi ve uygulama yöntemini daha sonra açıklayacak. Mevcut tarayıcı ayarları geçerliliğini koruyacak. OpenAI, gönüllü adımın site yöneticilerinin her şirket için ayrı kurallar yönetme yükünü azaltacağını belirtti.

Ortak sinyalin adı ‘__usage_ai-training’. IETF’ye kaydedilen taslak, web sitesi yöneticilerinin robots.txt üzerinden bu sinyali kullanarak birden fazla şirkete yapay zekâ eğitimi konusundaki tercihlerini bildirmesini öneriyor.

Site yöneticileri robots.txt dosyasında ‘User-Agent: __usage_ai-training’ grubu oluşturup ‘Disallow: /’ yazarak sitenin tüm içeriğinin eğitimde kullanılmasını istemediklerini belirtebilir. Yalnızca belirli yollar için istisna tanımlamak da mümkün.

Taslakta yapay zekâ eğitimi, içeriğin üretken yapay zekâ modelinin öğrenilmiş parametrelerini değiştirmek amacıyla kullanılması olarak tanımlanıyor. İlgili grup dosyada yoksa taslağa göre eğitim tercihi belirtilmemiş sayılıyor.

Ortak sinyal, tarayıcıların web sayfalarına erişmesini engelleyen bir komut değil. Şirketlere özgü tarama kuralları ayrı uygulanıyor; taslak da robots.txt’ye yeni bir tarama komutu eklemiyor.

robots.txt, tarayıcılardan kurallara uymalarını isteyen bir protokol; erişim izinlerini zorunlu kılan bir güvenlik aracı değil. Web Robotları Hariç Tutma Protokolü’nü tanımlayan RFC 9309 da robots.txt’yi erişim denetimi yöntemi olarak görmüyor.

OpenAI’nin tarayıcı belgelerine göre model eğitiminde kullanılabilecek içeriği toplayan GPTBot ile ChatGPT arama sonuçlarında görünmeye yardımcı olan OAI-SearchBot’un ayarları birbirinden bağımsız. Web sitesi yöneticileri eğitim amaçlı erişimi reddederken arama tarayıcısına izin verebilir.

Bu nedenle yalnızca eğitim tercihinin reddedilmesi, arama görünürlüğünün veya yapay zekâ yanıtı oluşturulurken içeriğe başvurulmasının da kısıtlandığı anlamına gelmiyor. Eğitim tercihleri ile tarama kuralları ayrı ele alınıyor.

TokenPost daha önce arama dizininde kalırken yapay zekâ eğitimi için erişimi kısıtlayan ayarları tanıtmıştı. Yeni ortak sinyal, birden fazla yapay zekâ şirketinin okuyabileceği bir tercih bildirmesiyle şirketlere özel ayarlardan ayrılıyor.

Google, 30 Ekim 2026’da Google Search Central blogunda diğer yapay zekâ sağlayıcılarıyla birlikte sinyali 2027’de desteklemeyi hedeflediğini açıkladı. Bu bir destek hedefi; kesin uygulama tarihi belirtilmedi.

Google, web sitesi ortak sinyalle eğitime izin vermediğini belirtir ve ayrıca Google-Extended kuralı tanımlamazsa bunu Google-Extended’ı engellemekle aynı şekilde yorumlayacağını bildirdi. Şirketlere özel kurallar açıkça belirtilmişse bu ayarlar uygulanmaya devam edecek.

Microsoft(MSFT), 30 Ekim 2026’da Bing’in resmî blogunda yeni tercih ayarlarını tarama sürecine 1 Şubat 2027’den itibaren yansıtacağını açıkladı. Şirket, yapay zekâ eğitimi tercihleri ile yanıt oluştururken web içeriğine başvurma, yani ‘grounding’ tercihlerini ayrı ele alıyor.

Tek tek sayfalarda belirtilen eğitim tercihi, robots.txt’deki site genelindeki ayardan öncelikli olacak. Mevcut NoArchive veya NoCache kurallarını kullanan sitelerin eğitim kısıtlamasını robots.txt’de ya da tek tek sayfalarda yeni tercihle belirtmesi gerekiyor. ‘Grounding’ kısıtlamasını sürdürmek isteyenlerin ise 1 Mart 2027’ye kadar sayfa bazındaki ayarları ve Bing Webmaster Tools’taki geçici ayarı uygulaması gerekiyor. Bu tarihten sonra mevcut kurallar eğitim veya ‘grounding’ tercihi olarak yorumlanmayacak.

Microsoft, yeni ayarların Bing’in genel arama sonuçlarında görünme uygunluğunu değiştirmediğini ve içerik kullanım ücreti ya da lisans anlaşması garantisi vermediğini belirtti. robots.txt’de tercih bildirmek, içeriğin kullanım koşullarını tek başına belirlemiyor.

IETF belgesi kişisel bir Internet-Draft olarak kaydedildi; henüz kesinleşmiş bir standart veya IETF tarafından onaylanmış bir belge değil. Taslakta belgenin 3 Mayıs 2027’de sona ermesinin beklendiği belirtiliyor.