Claude’un öz değerlendirmesi, risk sınıflandırıcısının işaretlediği konuşmaların %78’ini yakaladı

Anthropic, Claude’un yanıtından sonra oluşturduğu öz değerlendirmeleri olası kötüye kullanım işaretlerini incelemek için ek bir güvenlik izleme aracı olarak kullanıyor. Bu işaretler şüpheli konuşmaları incelemeye yönlendiriyor; kullanıcının göreceği yanıtı gerçek zamanlı olarak engellemiyor.

Anthropic, 16 Ekim’de yayımladığı teknik açıklamada öz değerlendirme özelliğini bu yılın haziran ayından bu yana canlı hizmet trafiğinde kullandığını bildirdi. Özellik Fable 5’ten sonra yayımlanan modellere uygulandı ve Claude’un dünya genelindeki trafiğinin önemli bir bölümünü kapsıyor.

Claude, her yanıtın ardından tüm konuşmayı gözden geçirip güvenlik değerlendirmesi oluşturması için kısa bir talimat alıyor. Değerlendirme; olası zararlı talebin bulunup bulunmadığını ve türünü, insan incelemesindeki önceliğini ve Claude’un talebi reddedip reddetmediğini içeriyor. Kullanıcıya gösterilmiyor ve sonraki konuşmalara aktarılmıyor.

Anthropic bu değerlendirmeleri çevrimdışı izleme sinyali olarak kullanıyor. Şirket, değerlendirmeleri diğer sınıflandırıcıların sonuçlarıyla karşılaştırdığını ve bazı zarar alanlarında yüksek öncelikli işaretlerin birden fazla kez görüldüğü kuruluşları insan incelemesine yönlendirdiğini açıkladı. Bu yöntem, mevcut sınıflandırıcıların gözden kaçırdığı konuşmaları bulmaya ve yeni kötüye kullanım türlerini incelemeye de yardımcı oluyor.

Mevcut güvenlik sınıflandırıcıları önceden belirlenmiş risk türlerini bulmak üzere tasarlanıyor. Öz değerlendirme ise Claude’un konuşmanın bütününden çıkardığı bilgileri kullanıyor. TokenPost daha önce Anthropic’in Claude’un kötüye kullanım örneklerini yedi risk alanında sınıflandırarak yayımladığını bildirmişti.

Anthropic, işaretlenen konuşmaların yaklaşık üçte birinin mevcut risk sınıflandırmalarına net biçimde uymadığını söyledi. Şirket, Claude’un akıl yürütmesini çıkarmaya yönelik yasa dışı model damıtma girişimlerini, prompt enjeksiyonunu ve kullanıcı tarafından yetkilendirilmemiş ajan eylemlerini örnek gösterdi. Bununla birlikte Anthropic, genelleme performansını Claude’un zaten zararlı olarak tanıdığı türlere odaklanarak değerlendirdiğini belirtti.

Şirket, ağustos ayında tek bir API müşterisinde çocukların cinsel istismarıyla ilgili 100 binden fazla işaret oluştuğunu bildirdi. Çocuk güvenliği ekibinin incelemesinin ardından veriler, ABD Ulusal Kayıp ve İstismara Uğramış Çocuklar Merkezi’ne (NCMEC) iletildi. Bu sayı öz değerlendirmelerin işaret sayısını gösteriyor; doğrulanmış mağdur veya vaka sayısı anlamına gelmiyor.

Anthropic, performansı Claude Fable 5’in canlı hizmet konuşmalarından alınan rastgele bir örneklemle ölçtü. Sorunsuz konuşmaların yanlışlıkla riskli olarak işaretlenme oranı %1’e ayarlandığında, Claude Mythos Preview tabanlı sınıflandırıcının potansiyel olarak zararlı diye işaretlediği konuşmaların %78’ini öz değerlendirme de yakaladı. İnceleme önceliği yüksek konuşmalarda bu oran %94 oldu.

Bu sonuç, insanlar tarafından zararlı olduğu belirlenen tüm konuşmaların yakalanma oranını değil, başka bir sınıflandırıcının işaretleriyle karşılaştırmayı gösteriyor. Anthropic, öz değerlendirmenin öğretmen olarak kullanılan sınıflandırıcının zayıflıklarını devralabileceğini ve mevcut değerlendirmelerin bu kör noktaları ortaya çıkaramayacağını belirtti. İnsan değerlendirmeleriyle model yargılarının uyuşup uyuşmadığını incelemeyi sonraki çalışmalar arasında saydı.

Maliyeti düşürmek için yanıt üretiminde kullanılan konuşma bağlamı yeniden değerlendiriliyor. Anthropic, değerlendirme başına ortalama yaklaşık 10 ek token gerektiğini ve kendi API trafiğinin dağılımına göre çıkarım hesaplama yükünün %2’den az arttığını tahmin etti. Şirket bu maliyeti müşterilere ayrıca yansıtmıyor.

Öz değerlendirme modelinin eğitiminde gerçek kullanıcı konuşmaları yerine yalnızca sentetik veriler kullanıldı. Anthropic önce denetimli ince ayarla değerlendirme biçimini ve karar yöntemini öğretti, ardından pekiştirmeli öğrenme uyguladı. Tam güvenlik politikasını dikkate alan istem tabanlı bir sınıflandırıcı eğitim sırasında öğretmen işlevi gördü.

Anthropic, öz değerlendirmenin engelleyici olarak kullanılıp kullanılamayacağını kurum içi siber güvenlik simülasyonlarında da sınadı. 24 saldırı görevinde, güvenlik önlemi olmadığında saldırı başarı oranı %79’du (19 görev). Öz değerlendirme saldırıları engellediğinde oran %54’e (13 görev), ayrı bir istem tabanlı sınıflandırıcı engelleyici olarak kullanıldığında ise %25’e (6 görev) indi.

Engelleme testinde saldırganlar, değerlendirmede neden işaretlendiklerini öğrenip isteklerini değiştirerek yeniden deneyebildi. Anthropic, bu tür saldırıları hedefleyenlere karşı öz değerlendirmenin yeterince dayanıklı olmadığını söyledi. Gerçek hizmette değerlendirme çevrimdışı yapılıyor ve saldırgana anında geri bildirim verilmiyor; gerçek zamanlı istekleri mevcut güvenlik önlemleri engelliyor.

Anthropic, öz değerlendirmenin kullanıcılardan yeni veri toplamadığını ve mevcut veri işleme politikalarına tabi olduğunu bildirdi. Ancak güvenlik ihlali şüphesini araştırmak için ilgili konuşmanın saklanması gerekiyor. Şirket, verilerin saklanmasına izin vermeyen sözleşmeler kapsamındaki trafikte öz değerlendirmeyi çalıştırmıyor.