AI güvenlik açığı savunma becerilerini karşılaştıran gösterge yayımlandı

Yapay zekâ (AI) modellerinin kurumsal güvenlik açıklarına müdahale becerilerini karşılaştıran yeni bir gösterge yayımlandı. Gösterge, açığın keşfinden doğrulanmasına ve yamalanmasına kadar tüm süreci değerlendirerek gerçek savunma çalışmalarına yakın bir ölçüt sunmayı amaçlıyor.

Artificial Analysis, 25'inde kurumsal siber güvenlik yetkinliğini değerlendiren ‘Cyber Index v1’i yayımladı. Gösterge, saldırı kapasitesinden çok güvenlik açığı yönetimi ve yama geliştirme gibi savunma görevlerine odaklanıyor.

Cyber Index; CWE-Bench-AA, DeepsecBench-AA ve CyberGym-E2E-AA adlı üç değerlendirmenin birleştirilmesiyle oluşturuluyor. Sistem, açığın bulunmasının ardından yeniden üretilebilirliğinin doğrulanmasını ve mevcut işlevleri bozmadan düzeltme yapılmasını değerlendiriyor.

AI’ın yalnızca hatayı tespit etmesi değil, normal işlevleri koruyarak sorunu çözmesi de puana yansıtılıyor. Böylece güvenlik çalışmalarındaki hatalı pozitifler ile yama sonrasında ortaya çıkabilecek yan etkiler birlikte dikkate alınıyor.

CWE-Bench, gerçek açık kaynak depolarında güvenlik açığı denetimi ve yama çalışması yapan savunma odaklı kodlama ajanlarını değerlendiriyor. En güncel açık materyallerde 120 gizli denetim ve yama görevi ile 73 CWE türü yer alıyor. Değerlendirmede program doğrulama yöntemleri ve üç ajandan oluşan bir inceleme paneli kullanılıyor.

CWE, yazılım güvenlik açığı türlerini sınıflandıran bir sistemdir. CWE-Bench’te açığı kapatırken mevcut regresyon testlerini geçmek de gerektiği için yalnızca hatayı ortadan kaldıran bir yama yeterli sayılmıyor.

CyberGym-E2E, güvenlik açığının bulunması, kavram kanıtı oluşturulması ve yamanın hazırlanmasından oluşan uçtan uca süreci değerlendiriyor. Araştırma makalesinde, değerlendirmenin 139 açık kaynak projesindeki 920 gerçek güvenlik açığı temel alınarak tasarlandığı belirtildi.

CyberGym’in resmi gözlem platformu da AI yetkinliğini keşif, yeniden üretim ve yama gibi güvenlik açığı yaşam döngüsü aşamalarına ayırarak değerlendiriyor. Ancak CyberGym ve CyberGym-E2E ayrı benchmark’lar olarak tanıtıldığı için, CyberGym’in resmi açıklamasına dayanarak bu değerlendirmenin Cyber Index’e doğrudan dahil edildiği kesin olarak söylenemiyor.

Artificial Analysis, finans, hukuk ve sağlık gibi alanlara yönelik Capability Index göstergelerini de işletiyor. Genel AI performansını ölçen Intelligence Index de çeşitli alt değerlendirmelerin birleştirilmesiyle oluşturuluyor. Değerlendirme yapısı ve metodoloji, sürüme göre değişebiliyor.

Yeni göstergede de değerlendirme setlerinin bağımsızlığı, gizli testlerin korunup korunmadığı ve her değerlendirmenin ağırlığı modeller arasındaki karşılaştırılabilirliği belirliyor. Özellikle toplam puan ve sıralama, güvenlik açığı bulma becerisi ile yama kalitesinden hangisinin sonucu daha fazla etkilediğini tek başına göstermiyor.

Açık aramalarda Cyber Index’in modellere göre ayrıntılı puanlarına, genel sıralama tablosuna ve değerlendirme maliyetine ulaşmak zor. Ayrıntılı metodoloji ve tekrarlanabilirlik prosedürlerinin ek olarak yayımlanması gerektiği yönündeki değerlendirmeler de bu nedenle öne çıkıyor.

Piyasa ve sektörün somut tepkisi şimdilik sınırlı. Yayımlanan açıklamalar, saldırı odaklı ve savunma odaklı değerlendirmelerin kapsamı ile üç değerlendirme başlığının göreli ağırlığını karşılaştırmak için yeterli görünmüyor.

Kurumsal güvenlik operasyonlarında yalnızca kaç güvenlik açığının bulunduğu değil, düzeltilen kodun mevcut hizmetleri koruyup korumadığı da önem taşıyor. Bu nedenle Cyber Index, basit tespit oranlarından farklı olarak keşif, doğrulama ve yamanın birbirine bağlandığı iş akışını değerlendiriyor.

AI destekli güvenlik açığı tespiti ve yama çalışmaları yaygınlaşırken insan denetimi ile erişim yetkilerinin yönetimi de ele alınmalı. AI modellerinin güvenlikte kullanımı ve savunma kapasitesine ilişkin tartışmalar sürerken, yeni gösterge AI’ı saldırı aracı olarak değil, savunma görevlerinin değerlendirme konusu olarak ele alan bir örnek oluşturuyor.

Artificial Analysis’in ayrıntılı puanları ve değerlendirme metodolojisini ek olarak yayımlayıp yayımlamayacağı ve Cyber Index’in kurumsal güvenlik uygulamalarında gerçek bir karşılaştırma ölçütü olarak kullanılıp kullanılmayacağı, sonraki açıklamalara bağlı olacak.