AI değerlendirmeleri için bağımsız kıyaslama çağrısı

World Labs CEO'su Fei-Fei Li (Fei-Fei Li), gelişmiş yapay zekâ (AI) değerlendirmelerinin yalnızca modelleri geliştiren şirketlere bırakılamayacağını belirterek akademi, hükümet ve sektörün katıldığı bağımsız bir denetim sistemi kurulmasını istedi.

Bloomberg, 22'sinde yayımladığı röportajda Li'nin bağımsız kıyaslamalar ve çok paydaşlı bir değerlendirme yapısına ihtiyaç olduğunu söylediğini aktardı. AI şirketlerinin kendi oluşturdukları ölçütlerle kendi modellerini değerlendirmesi, sonuçların nesnelliğini ve hesap verebilirliğini güvence altına almayı zorlaştırıyor.

Bağımsız kıyaslama, değerlendirme kuruluşunun bağımsızlığından farklı bir kavram. Kıyaslama, AI modellerinin hangi ölçütlere göre karşılaştırılacağını belirleyen test sistemini ifade ediyor. Değerlendirme kuruluşu dışarıda olsa bile test ölçütlerini ve değerlendirme kapsamını geliştirici şirket belirlerse sonuçlar performans tanıtım aracına dönüşebilir.

Tartışmanın doğrudan arka planında, AI şirketlerinin içinde dış değerlendiricilerin sürekli görev yapması önerisi bulunuyor. Anthropic CEO'su Dario Amodei (Dario Amodei), dış değerlendiricilere şirket çalışanlarına benzer sistem erişimi verilmesini önerdi. OpenAI CEO'su Sam Altman (Sam Altman) da bu fikri destekledi.

Bu modelde değerlendirme ekibi, şirketin ofisini, giriş kartlarını ve şirket ekipmanlarını kullanarak güvenlik uygulamalarını inceliyor. AP, dış değerlendiricilerin şirket içi sistemlere ve çalışma ortamına erişmesinin ilgili görüşmelerde gündeme geldiğini bildirdi.

Karşı görüş ise değerlendirmeye tabi şirketin değerlendirme kuruluşunu seçmesi ve masrafları ödemesi halinde bağımsızlığın zedelenebileceğine işaret ediyor. Cohere CEO'su Aidan Gomez (Aidan Gomez), az sayıda ticari çıkarı bulunan şirketin AI kurallarını belirlememesi gerektiğini söyledi. Brookings Enstitüsü araştırmacısı Elham Tabassi (Elham Tabassi) ise yalnızca şirketlerin gönüllü taahhütlerinin yeterli olmayacağını belirtti.

Tabassi, bilimsel olarak doğrulanabilir değerlendirme yöntemlerine ihtiyaç olduğunu söyledi. İki ismin açıklamaları, yalnızca dış değerlendirici görevlendirmenin değerlendirmelerin nesnelliğini ve hesap verebilirliğini garanti etmediğine işaret ediyor.

AI değerlendiricilerinin kamuoyuna yönelik talepleri de sürüyor. AI Evaluator Forum, 18'inde 100'den fazla araştırmacı ve değerlendiricinin imzaladığı açık mektupta, üçüncü taraf değerlendirme kuruluşlarına bağımsız karar ve düzenleme yetkisi verilmesini, değerlendirme için gerekli sistem erişimi ile yeterli sürenin sağlanmasını istedi.

Açık mektupta şirketlerin misillemelerini önleyecek mekanizmalar da talep edildi. Değerlendirme kuruluşlarının şirket aleyhine sonuç açıklamaları halinde sözleşme feshi veya dava tehdidi nedeniyle kararlarını değiştirmemeleri için korunmaları gerektiği belirtildi.

AI Evaluator Forum'un 2025'te yayımladığı değerlendirme şeffaflığı ilkeleri de değerlendirme yönteminin kontrolü, sonuçları düzenleme yetkisi, sistem erişim düzeyi ile değerlendirme kuruluşu ve geliştirici arasındaki çıkar çatışmalarının açıklanmasını temel koşullar arasında sıraladı. Bu ilkelerin gerçek şirket sözleşmelerine veya yasal yükümlülüklere dönüşüp dönüşmediği doğrulanmış değil.

Li daha önce de üçüncü taraf doğrulamasını içeren kurumsal bir yaklaşım önermişti. California AI Frontier Model Ortak Politika Çalışma Grubu, 2025 tarihli raporunda risk değerlendirmelerinin üçüncü taraf denetimleriyle ilişkilendirilmesini ve şeffaflığın artırılmasını önermişti. Li, raporun ortak yazarları arasında yer alıyor.

Bu tartışma, AI güvenlik değerlendirme ekiplerine sistem erişimi ve sonuçları düzenleme yetkisi verilmesi yönündeki önceki açık taleplerle de bağlantılı. Temel mesele, dış değerlendiricilerin bulunup bulunmamasından çok değerlendirme ölçütlerini belirleme ve sonuçları yayımlama ya da değiştirme yetkisinin kimde olacağı.

Bu tartışma, Türkiye'deki AI şirketleri ve politika yapıcılar açısından da değerlendirme kuruluşunu kimin seçeceği, masrafların nasıl karşılanacağı, sistem erişiminin kapsamı ve sonuçların nasıl yayımlanacağı konularının bağımsız biçimde tasarlanıp tasarlanmadığını sorgulamak için bir ölçüt sunuyor. Değerlendirmenin dış bir kuruluşa bırakılması tek başına sonuçların bağımsızlığını güvence altına almıyor.

Şu aşamada bağımsız bir denetim kuruluşunun kurulması veya bağlayıcı düzenlemelerin yürürlüğe girmesi kesinleşmiş değil. Doğrulanan nokta, AI şirketleri ve araştırmacıların bağımsızlık, erişim yetkisi ve şeffaflığa sahip değerlendirme sistemi talep etmesi. Bu önerilerin gerçek sözleşmelere ve kurumsal yapılara dönüşüp dönüşmeyeceği ise yeni görüşmelere bağlı.