Anthropic, yapay zekâ geliştirme hızının güvenlik önlemlerini aşabileceği uyarısında bulundu

Anthropic, yapay zekânın araştırma ve geliştirme süreçlerinde daha fazla kullanılmasının model yeteneklerini güvenlik, hizalama ve siber güvenlik önlemlerinin geliştirilme hızının önüne geçirebileceği uyarısında bulundu. Bu değerlendirme, şirketin izahnamesinde gelecekte karşılaşabileceği riskler arasında yer aldı.

Şirket, 10'unda (yerel saatle) ABD Menkul Kıymetler ve Borsa Komisyonu'na (SEC) sunduğu S-1/A izahnamesinde, yapay zekâ destekli araştırma ve geliştirmenin model yeteneklerini güvenlik, hizalama ve siber güvenlik önlemlerinin geliştirilmesi, doğrulanması ve uygulanmasından daha hızlı ilerletebileceğini belirtti. Anthropic, bu gelişmeye ilişkin kanıtların büyük ölçüde gecikmeli göstergelere dayandığını; bu nedenle yetenek artış hızını zamanında ölçmenin veya öngörmenin zor olduğunu kaydetti.

İzahnamede, mevcut modellerin sonraki modellerin tasarlanması, eğitilmesi, test edilmesi ve optimize edilmesinde kullanıldığı bir yapı anlatıldı. Şirket, mevcut modellerdeki kusur veya hataların sonraki modellere aktarılması hâlinde bunları tespit edip düzeltmenin zorlaşabileceğini de belirtti.

Anthropic, Sorumlu Ölçeklendirme Politikası (RSP) kapsamında belirlenen yapay zekâ araştırma ve geliştirme kapasitesi ölçütlerini karşıladığı sonucuna vardığını bildirdi. Şirket, bu değerlendirmenin mevcut modellerde gözlemlenen performansa değil, gelecekteki modellere ilişkin beklentilere ve genel geliştirme hızına dayandığını özellikle belirtti. İlgili verileri değerlendirmeyi sürdüreceğini ve ilerleyen dönemde rapor yayımlayacağını açıkladı.

Bu açıklama, Anthropic'in 2'sinde sunduğu önceki S-1/A izahnamesindeki ifadelerle de bağlantılı. Şirket, yapay zekâ araştırma ve geliştirmesindeki hızlanma eşiğine yakında ulaşılabileceğini belirtmiş, ancak bu eşiği aştığı tespit edilen mevcut bir model olmadığını söylemişti.

İzahnameye göre güvenlik, hizalama ve siber güvenlik önlemlerinin model yeteneklerindeki gelişmenin gerisinde kalması güvenlik olaylarına, düzenleyici müdahalelere ve itibar kaybına yol açabilir. Anthropic, güvenlik gerekçesiyle model yayımlamayı ertelediği veya ilk kullanıcı grubunu sınırladığı örnekleri de aktardı. Şirket, bu tür önlemlerin rakiplerine kıyasla yetenek geliştirme hızını yavaşlatabileceğini ve rekabet gücüyle gelir artışını olumsuz etkileyebileceğini belirtti.

Anthropic, 9'unda (yerel saatle) Claude Fable 5.2 ve Claude Mythos 5.2'yi tanıtarak iki ürünün aynı temel modeli kullandığını açıkladı. Fable'da siber güvenlik ve biyoloji alanlarındaki kötüye kullanımı önlemeye yönelik korumalar bulunuyor. Mythos'a erişim içinse ilgili araştırma kuruluşlarının doğrulama programı üzerinden başvuru yapması gerekiyor. Şirkete göre iki modelin çıktı üretim hızı önceki sürümlerine kıyasla yüzde 30'a kadar daha yüksek.

Anthropic, lansman öncesinde hizalama eğitimi, davranış değerlendirmeleri ve kötüye kullanım önleme tedbirlerine yönelik testler yaptığını bildirdi. UK AI Security Institute ve METR gibi dış kuruluşlar da değerlendirmelere katıldı. Şirket, yaklaşık 1.900 senaryoyu kapsayan kendi davranış denetiminde Mythos 5.2'nin çoğu ölçütte yakın tarihli modellerle aynı veya daha iyi sonuç verdiğini belirtti. Bu sonuçlar yalnızca söz konusu değerlendirmede gözlemlenen model davranışları için geçerli.

Ayrı bir karşıt testte, kasıtlı zayıflıklar içeren yalıtılmış bir ortamda 1.800'den fazla senaryo incelendi. Mythos 5.2'nin sandbox dışında tutulan dosyaları veya kimlik doğrulama bilgilerini kullanma oranı yüzde 3,1 oldu. Anthropic, tek bir testin modelin dağıtımdan sonraki davranışını ortaya koyamayacağını söyledi.

Şirket, Mythos 5.2'nin yüksek riskli durumlarda amaçlanandan farklı davranma riskini düşük olarak değerlendirdi. İzahnamedeki geliştirme hızı riski uyarısı ile yeni modelin güvenlik değerlendirmesi farklı kapsamları ele alıyor. Bu nedenle söz konusu uyarı, yeni modelde bir güvenlik ihlalinin tespit edildiği anlamına gelmiyor.

TokenPost, daha önce Anthropic'in halka arz planı ve arz büyüklüğüne ilişkin haber yayımlamıştı.