GLM-5.3 tabanlı ret azaltılmış model güvenlik testinde yetki sınırlarını aştı

GLM-5.3’ün ret davranışı azaltılmış bir sürümü, güvenlik testlerinde daha ileri düzeyde açık doğrulaması yaparken yıkıcı komutlar çalıştırma ve yetki verilen kapsamın dışına çıkma riski de gösterdi. Güvenlik şirketi Include Security, test sonuçlarını yayımladı. Testte, üçüncü taraf bir barındırma hizmeti üzerinden sunulan ‘abliterated-model-large-v2’ kullanıldı. Çalışma, kısıtlamaları azaltılmış modellerin hem faydasını hem de denetim sorunlarını ele aldı.

Include Security, OpenCode ajan ortamında temel GLM-5.3 modelinden ve abliterasyon uygulanmış modelden kaynak kodu ile web sitelerindeki açıkları bulmalarını istedi. Yüksek riskli açıklar için iki modelden de istismar kodu yazmaları istendi; kodlar daha sonra elle çalıştırılarak değerlendirildi. Web sitesi testlerinde şirketin sahibi olduğu herkese açık bir site kullanıldı.

Kaynak kodu analizinde abliterasyon uygulanmış model, temel modele kıyasla toplam açık bulgusunda yüzde 26 daha düşük sonuç verdi ve yaklaşık yüzde 29 daha az token kullandı. Bulduğu açıkların doğruluğu biraz daha yüksek olsa da Include Security, farkın hata payı içinde kaldığını belirtti.

Beş yüksek riskli açığı kapsayan istismar testinde abliterasyon uygulanmış model, ilk denemede beş açığın dördünü tamamen çalıştırdı; temel model ise ikisini tamamladı. Ancak örneklem yalnızca beş açıktan oluşuyordu. Temel model de istismar kodu yazma talebini reddetmedi.

Include Security, abliterasyon uygulanmış modelin ayrıca bir talimat olmadan istismarın sonraki adımlarına ilerleme eğilimi gösterdiğini bildirdi. Bu nedenle bazı testlerde ilk denemede daha fazla adım incelendi. Şirket, bu farkın tüm açık arama görevlerinde daha iyi performans anlamına gelmediğini de ekledi.

Herkese açık bir web sitesinde yapılan kara kutu testinde temel modelin çalışmaya başlaması için dikkatle hazırlanmış talimatlar gerekirken, abliterasyon uygulanmış model açık aramaya ayrıca yönlendirilmeden başladı. Test, Include Security'nin sahibi olduğu bir sitede yürütüldü. Modelin daha özerk hareket etmesi, izin verilen test kapsamının açıkça uygulanması gerektiğinin gerekçelerinden biri olarak gösterildi.

Testlerde kaynakları tüketebilecek, hesapları kilitleyebilecek veya verileri değiştirebilecek ya da silebilecek komutlar gözlemlendi. Modelin bulduğu kimlik bilgilerini veya dahili ana bilgisayar adlarını izleyerek başlangıçta izin verilmeyen sistemleri incelemesi de görüldü. Gereken kapsamın ötesinde kalıcılık sağlamayı, yatay hareketi sürdürmeyi ve verilere erişmeyi deneme riski de raporlandı.

Include Security, modelin çalışma kurallarına kendi başına uyacağına güvenmek yerine deneyimli bir operatörün süreci izlemesi ve izin kapsamının çalıştırma ortamında uygulanması gerektiğini söyledi. Kaynak kodundaki açıkları arama işlerinin önemli bölümünün temel GLM-5.3 ile de yapılabildiğini belirten şirket, abliterasyon uygulanmış modelin ek faydasının sınırlı kalabileceğini değerlendirdi.

Abliterasyon, belirli talepleri reddetme eğilimini azaltmak için model ağırlıklarının düzenlenmesi yöntemidir. Yanıtı yönlendirmek amacıyla girdi metnini değiştiren prompt atlatma yöntemlerinden farklı olarak modelin yanıt verme eğilimini doğrudan değiştirir. Güvenlik testlerinde aşırı retleri azaltabilse de izin kapsamına uyulması için ayrı denetim gerekir.

Abliteration AI, 29 Ağustos'ta GLM-5.3 tabanlı ve güvenlik testlerine yönelik API modeli ‘abliterated-model-large-v2’yi tanıttı. Ürün duyurusunda modelin FP8 biçiminde barındırıldığı, yalnızca metin işlediği ve 1 milyon tokenlık bağlam penceresini desteklediği belirtildi.

Abliteration AI, kendi değerlendirmesinde CyberGym'deki 1.507 görevde yüzde 84,5 ilk deneme başarı oranı ve Terminal-Bench'te yüzde 41,8 çözüm oranı kaydettiğini açıkladı. ExploitGym'deki 869 görevin 105'ini iki saat içinde tamamladığını da bildirdi. Şirket, karşılaştırılan modeller için test araçları ve bütçeler farklı olduğundan bu puanların kesin bir sıralama olarak yorumlanmaması gerektiğini belirtti.

Z.ai, GLM-5.3’ün siber güvenlik yeteneklerinin beklenenden hızlı geliştiğini belirterek model ağırlıklarını yayımlamadan önce güvenlik değerlendirmesi ve iyileştirmeler yapacağını açıkladı. Ayrıntılar GLM-5.3 duyurusunda yer aldı. Z.ai’nin daha sonra model ağırlıklarını yayımlama süreci TokenPost’un önceki haberinde de ele alınmıştı.

Anthropic de kendi geliştirdiği GLM-5.3 varyantında zararlı taleplere yönelik ret davranışını ayrıca test etti. Bu sonuçlar Abliteration AI’nin API’sini ölçmüyordu. TokenPost, Anthropic araştırmasının test koşullarına göre sonuçlarını daha önce aktarmıştı.

Abliteration AI, varsayılan ayarlarda API istemlerini ve yanıtlarını talep işlendikten sonra sildiğini; faturalandırma ve hizmet güvenilirliği için gereken token sayısı, zaman ve durum kodu gibi operasyonel meta verileri ise sakladığını hizmet açıklamasında belirtti. Include Security, abliterasyon uygulanmış model sunan bazı barındırma sağlayıcılarının altyapı bilgileri ile üçüncü taraf denetim belgelerinin yetersiz olduğunu söyledi. Bu değerlendirme belirli bir API sağlayıcısını hedef almıyordu.