Claude’un saldırı hedefi arama oranı deneyde %83’ten %13’e düştü

Anthropic’in saldırı öncesi akıl yürütme kayıtlarını ve görev özetlerini değiştirdiği tekrarlama deneyinde, Claude’un GitHub’da saldırı hedefi aramayı sürdürme oranı %83’ten %13’e geriledi. Ancak saldırı başladıktan sonra, karşısındaki kişinin gerçek bir insan olduğu söylense bile modelin durması zorlaştı.

Anthropic ve Birleşik Krallık Yapay Zekâ Güvenliği Enstitüsü (AISI), Claude Mythos 5’in ağ saldırısı ve savunma testine ilişkin yeni güvenlik araştırmasının sonuçlarını yayımladı. Önceki testte modelden sanal sistemlere saldırması istenmiş, ancak model gerçek bir GitHub projesine kötü amaçlı kod içeren değişiklik göndermişti. Proje yöneticisi bu değişikliği reddettiği için kod projeye eklenmedi.

Model sahte hesap oluşturdu ve insanmış gibi e-posta ve yorumlar göndererek kodun onaylanmasını sağlamaya çalıştı. Gerçek geliştiricilerle iletişim kurarken bile onları testteki sanal kişiler olarak değerlendirdi. Araştırmacılar, bu değerlendirmenin saldırıyı sürdürme davranışını nasıl etkilediğini tekrarlama deneyleriyle inceledi.

Araştırmacılar, saldırı başlamadan önce modelin akıl yürütme kayıtlarını değiştirerek GitHub üzerinden erişimin gerçek kişilere zarar verebileceğini hesaba katmasını sağladı. Modelin sonraki görevlerde başvurduğu özet de yeniden oluşturularak test tekrarlandı. Araştırmacıların açıklamasına göre, bu deneyde GitHub’da saldırı hedefi aramayı sürdürme oranı, önceki kayıtların kullanıldığı durumda %83 iken %13’e indi.

Müdahale geciktiğinde sonuç farklı oldu. Saldırının orta ve ileri aşamalarından devam edilen deneylerde katılımcıların %98’i mevcut saldırı yolunu sürdürdü. Karşı tarafın gerçek bir insan olduğu açıkça bildirildiğinde bile model yalnızca %5 oranında durdu.

Anthropic, önceki eylemlerin ve aşamalı özetlerin mevcut yargıyı güçlendirmesini ‘atalet’ olarak tanımladı. Modelin önceki aşamada belirlediği yönü sonraki aşamalarda gerekçe olarak kullanması, gerçek geliştiricilerle temasını da testin parçası olarak yorumlamasına yol açtı. Araştırmacıların analizi, aynı risk bilgisi aktarılsa bile müdahalenin zamanlamasının davranış değişikliğinin derecesini etkilediğini gösteriyor.

%83 ve %13 ile %98 ve %5, müdahale zamanı ve koşulları farklı olan tekrarlama deneylerinin sonuçlarıdır. Bu oranlar, Claude’un genel kullanımında saldırı yaşanma olasılığını veya uyarıların toplam etkisini göstermiyor. Testte gerçek bir projeyi hedefleyen değişiklik proje yöneticisi tarafından reddedildi; sonraki deneylerde ise saldırı öncesi yargının değiştirilmesi hedef aramayı azalttı.