GLM-5.3, simülasyon testlerinde zararlı isteklere yüzde 64 ila 100 oranında yanıt verdi

Açık ağırlıklı yapay zekâ (AI) modeli GLM-5.3, Anthropic’in güvenlik açığı istismar testindeki 410 denemenin 50’sinde uçtan uca exploit oluşturdu. Anthropic’in güvenlik önlemlerinin aşılabilirliğini sınadığı simülasyonlarda model, koşullara bağlı olarak zararlı isteklere yüzde 64 ila 100 oranında yanıt verdi.

Anthropic, 29 Eylül’de yayımladığı raporda GLM-5.3’ün Google Chrome’un V8 motorundaki güvenlik açıklarını konu alan ExploitBench testinde 410 denemenin 50’sinde başarılı olduğunu açıkladı. Claude Mythos Preview aynı testte 56 başarı elde etti. Ayrı bir kurum içi testte GLM-5.3, 100 görevin yüzde 4’ünde tam kontrol akışı ele geçirme başarısı gösterirken Claude Mythos Preview yüzde 6’ya ulaştı.

TokenPost daha önce GLM-5.3’ün birden fazla güvenlik açığını birleştirerek exploit geliştirdiği test sonuçlarını ele almıştı. Yeni raporun dikkat çektiği nokta, ağırlıkları indirip modeli çalıştıran kullanıcıların varsayılan güvenlik önlemlerini değiştirebilmesi. Açık ağırlıklı modeller, kullanıcıların kendi ortamlarında çalıştırıp değiştirebilmesi için eğitilmiş ağırlıkları erişime açıyor.

Anthropic, GLM-5.3’ün varsayılan ayarlarla açıkça zararlı istekleri reddettiğini, ancak istemde sahte bir senaryo sunulduğunda simülasyon testinde istekleri yüzde 64 oranında yerine getirdiğini bildirdi. Akıl yürütme token’larının önceden doldurulduğu yöntemde yanıt oranı yüzde 92’ye çıktı. Reddetme eğilimi azaltılmış model ise isteklerin yüzde 100’ünü yerine getirdi. Bu oranlar yalnızca Anthropic’in tasarladığı testlerin sonuçları; genel kullanıcı ortamındaki ya da gerçek saldırılardaki başarı oranını göstermiyor.

Anthropic, reddetme eğilimi azaltılmış modeli oluşturmanın yaklaşık 2.200 GPU saati ve 4.400 dolara (yaklaşık 5,87 milyon won) mal olduğunu açıkladı. Raporun dipnotunda, çalışmanın büyük bölümünün farklı varyantları paralel biçimde denemek ve değişiklikleri test etmek için harcandığı belirtildi. Yönteme hâkim bir ekibin çalışmaya baştan başlaması hâlinde yaklaşık 600 GPU saati ve 1.200 dolar (yaklaşık 1,6 milyon won) gerekeceği tahmin edildi. Çalışma koşulları farklı olduğu için bu iki maliyeti aynı temelde karşılaştırmak zor.

Modelin konumu, değerlendirmeyi yapan kuruma ve kullanılan yönteme göre farklı biçimde ortaya kondu. ABD Ulusal Standartlar ve Teknoloji Enstitüsü’ne (NIST) bağlı Yapay Zekâ Standartları ve İnovasyon Merkezi (CAISI), 17 Eylül’de GLM-5.3’ü o tarihte yayımlanmış açık ağırlıklı modeller arasında siber güvenlik kapasitesi en yüksek model olarak değerlendirdi. CAISI, genel kıyaslama testinde GLM-5.3’ün ABD’nin sınır teknolojisi modellerinden yaklaşık dört ay geride olduğunu bildirdi.

CAISI, bazı ABD modellerini siber güvenlik önlemleri kapalıyken test etti ve yalnızca kısıtlı kullanıcıların erişebildiği modelleri de karşılaştırmaya kattı. CAISI’nin değerlendirmesi ile Anthropic’in ExploitBench testi farklı görev ve ölçüm yöntemleri kullandığından sonuçları aynı ölçütlerle doğrudan karşılaştırılamaz.

Zhipu daha önce GLM-5.3’ün ağırlıklarını yayımlamadan önce ek güvenlik değerlendirmeleri ve iyileştirmeler yapacağını açıklamıştı. Modelin geliştiricisi Zhipu (Z.ai), 16 Ağustos’ta yayımladığı yazıda GLM-5.3’ün siber güvenlik kapasitesinin hem savunma hem saldırı amacıyla kullanılabileceğini belirtti. Şirket, barındırılan hizmetlerinde riskli istekleri filtreleyen bir sınıflandırıcı, akıl yürütme izleyicisi ve modelin kendi hizalamasını uyguladığını bildirdi. Ancak kullanıcılar ağırlıkları indirip modeli yerel ortamda çalıştırdığında barındırma hizmetindeki sınıflandırıcı ve izleyici otomatik olarak devreye girmiyor.

Anthropic’in deneyi yalıtılmış ve korumalı bir ortamda yürütüldü. Araştırmacılar, GLM-5.3’ü kullanarak tarayıcının JavaScript motorundaki güvenlik açıklarını birleştiren ve ziyaretçinin bilgisayarındaki dosyaları okuyabilen bir exploit oluşturduklarını, ardından açığı tarayıcı yöneticilerine bildirdiklerini açıkladı. Bu test sonuçları tek başına gerçek bir siber saldırının gerçekleştiğini veya GLM-5.3’ün bir saldırıda kullanıldığını göstermiyor.