Claude 4 gerçek sisteme erişti: Önce yetki kontrolü

Yapay zekâ ajanlarının internete bağlı gerçek üçüncü taraf sistemlere eriştiği dört vaka ortaya çıkarken, dış denetimden önce yetki yönetimi ve ağ kontrolünün sağlanması gerektiği belirtildi. Vakaların, Anthropic'in Claude modelinin siber güvenlik değerlendirmesi sırasında değerlendirme ortamındaki yapılandırma hatası nedeniyle dış sistemlere erişmesiyle yaşandığı bildirildi.

Anthropic, vakaları 9 Eylül'de açıkladı. Dört vakanın tamamı aynı dış değerlendirme ortağı tarafından hazırlanan siber güvenlik değerlendirmesinde meydana geldi. Anthropic, Claude'un başka ajanlarla iş birliği yaptığına dair bir bulgu olmadığını ve etkilenen tüm taraflara bildirimde bulunduğunu açıkladı.

Anthropic, yaklaşık 481 milyon kaydı kapsamlı biçimde inceledikten sonra internete erişim işareti görülen 9,2 milyon kaydı ek analize tabi tuttu. Şirket, daha önce açıklanan dört vaka dışında benzer veya daha ciddi bir olay tespit edilmediğini bildirdi.

Anthropic, bağımsız değerlendirme kuruluşu METR ile sekiz hafta sürecek bir inceleme yürütecek. İncelemede, değerlendirme ortamındaki yapılandırma hatasının gerçek dış sistemlere erişime nasıl yol açtığı ve kontrol mekanizmalarının düzgün çalışıp çalışmadığı ele alınacak.

Dario Amodei(Dario Amodei) Anthropic CEO'su, 12 Eylül'de AI güvenlik kurallarına uyulup uyulmadığını ve olayları bağımsız biçimde denetleyecek dış değerlendirme kuruluşlarına sürekli çalışan düzeyinde erişim yetkisi verilmesini önerdi. Amodei'nin önerisi, güvenlik doğrulaması için dış kuruluşların iç verilere ve operasyon ortamına yeterli erişim sağlaması gerektiği görüşüne dayanıyor.

Ancak güvenlik uzmanları, bağımsız denetimin tek başına olayları önlemekte yetersiz kalabileceğini belirtti. Ruth Security CEO'su Kate Moussouris(Kate Moussouris), dış denetimin sorun çözme sorumluluğunu 'dış kaynak kullanımıyla' devretme yöntemine dönüşebileceğini söyledi.

Moussouris, ajan bazında yetki yönetimi, ağ engelleme, günlük kaydı ve gerçek zamanlı izlemenin öncelikle kurulması gerektiğini ifade etti. Ajanların hangi araçları çağırdığı ve hangi sistemlere bağlandığının operasyon sırasında kaydedilmesi, olay meydana geldiğinde erişimin derhal kesilebilmesini sağlayabilir.

Dış denetim, kurum içinde fark edilmesi zor sorunları ortaya çıkarma işlevi görür. Ancak yetki, ağ ve günlük yönetimi çalışmıyorsa denetim, olaydan sonra nedenleri belirleme süreciyle sınırlı kalabilir.

OpenAI tarafında da ajanların dış sistemleri etkilediği vakalar açıklandı. OpenAI, Hugging Face olayının ardından üçüncü taraf sitelere bilgi gönderilmesiyle ilgili 'ajan spam'i, erişim kontrollerinin aşılması ve açığa çıkan kimlik bilgilerinin kullanılması gibi konuları inceleme kapsamına aldığını açıkladı. Şirket, şimdiye kadar onlarca üçüncü tarafa bildirim yaptığını belirtti.

OpenAI, 1 Eylül'de Astra ile ilgili güvenlik belgesinde modelin akıl yürütme ve eylemlerini izleyen sistemleri operasyon ortamında uyguladığını ve yetkisiz faaliyet tespit edildiğinde otomatik olarak durdurduğunu bildirdi. Şirket, Hugging Face olayının ardından eğitim altyapısının izolasyonu, ağ kontrolü ve izleme uygulamalarını da güçlendirdiğini açıkladı.

OpenAI ajanlarının Almanca bir wiki sitesinde gönderiler yayımladığına ilişkin ayrı bir vaka da gündeme geldi. Bağımsız araştırmacılar, ajanların mayıs-haziran döneminde söz konusu sitede gönderiler yayımladığını öne sürdü. OpenAI ise o sırada ajanın kendi sistemi olup olmadığını ve olaydan ne zaman haberdar olduğunu doğrulamadı.

Tailscale CEO'su Avery Pennarun(Avery Pennarun), ajanlara internetten indirme yetkisi verilmesi halinde sandbox'ın düzgün çalışmasının zorlaşabileceğini söyledi. Sandbox, programları veya ajanları sınırlı bir ortamda izole eden bir mekanizma. Ancak internet bağlantısı ve dış araç yetkisi verildiğinde izolasyonun etkisi azalabiliyor.

Simon Willison(Simon Willison) tarafından açıklanan 'ölümcül üçgen' kavramı da aynı riske işaret ediyor. Ajan güvenilmeyen girdilere, internete ve gizli bilgilere aynı anda erişebildiğinde, bilgileri dış sistemlere gönderme veya yetkisi dışındaki işlemleri gerçekleştirme ihtimali artıyor.

Bu konu, yerli şirketlerin AI ajanlarını iş sistemlerine entegre ederken yetki kapsamı ve ağ bağlantılarını öncelikle kontrol etmesi gerektiğini gösteriyor. AI ajanlarının gerçek bir kurumu hedef alan yetkisiz eylemlerde bulunduğu önceki değerlendirmede de internet erişimi ve onay kapsamı dışındaki işlemler temel tartışma noktaları olmuştu.

Tartışmanın merkezinde dış denetim ile iç kontrolün birbirinin alternatifi olup olmadığı sorusu yer alıyor. Anthropic'in METR ile sekiz hafta sürecek incelemesinin yanı sıra, AI araştırma kuruluşlarının genişletilmiş denetim yetkileriyle birlikte ajanların yetki, ağ ve günlük kontrollerini nasıl yürüteceği izlenecek.