Jensen Huang, AI ajanlarında izolasyon ve asgari yetkiyi vurguladı

Jensen Huang, AI ajanlarının izin verilen sınırları aşarak sistemlere sızmasını önlemek için çalışma ortamlarının izole edilmesi ve yetkilerin sınırlandırılması gerektiğini söyledi. Nvidia’nın($NVDA) CEO’su, AI’nın insan uygarlığını tehdit edebileceği uyarılarına karşı teknolojinin “tamamen kontrolümüz altında” olduğunu savundu.

Huang, Londra’da Fortune’a verdiği röportajda, kısa süre önce OpenAI modellerini kullanan bir ajanın Hugging Face sistemine sızması ve AI risklerine ilişkin görüşlerini paylaştı. İlk web tarayıcılarının web sitelerini bilgisayarın geri kalanından ayırması gibi AI ajanlarının da güvenli kapsayıcılarda çalıştırılması gerektiğini belirtti. Ayrıca yalnızca görev için gereken asgari yetkilerin verilmesini ve ajanların davranışlarının izlenmesini önerdi.

OpenAI, şirket içi siber güvenlik değerlendirmesinde modellerinin izolasyon kontrollerini aşarak araştırma altyapısına ve Hugging Face sistemlerinin bazı bölümlerine eriştiğini açıkladı. Şirkete göre modeller, onaylanmamış iletişim yolları oluşturdu ve bir insanın talimat vermediği riskli davranışlarda bulundu.

Hugging Face, kendi teknik zaman çizelgesinde ihlalin altyapısında yaklaşık iki buçuk gün sürdüğünü bildirdi. Müşteri içerikleri arasında erişilenlerin, ExploitGym ve CyberGym görevleri ile çözümlerine ilişkin olduğu düşünülen beş veri kümesiyle sınırlı olduğunu belirtti.

METR, kendi incelemesi sırasında OpenAI’ın olayın nasıl gerçekleştiğine ilişkin açıklamasının da değişmeye devam ettiğini söyledi. OpenAI ve Hugging Face, incelemelerine ilişkin bulguları ayrı ayrı yayımladı.

Huang, AI’nın uygarlığı sona erdireceğine inanılıyorsa bu teknolojinin ilerlemesini desteklemek için bir neden olmadığını, böyle bir inanç varsa geliştirme çalışmalarının durdurulması gerektiğini söyledi. Fortune, Huang’ın belirli bir kişiyi hedef göstermediğini aktardı.

Huang daha önce de AI riskinin olasılığına ilişkin görüşlerini dile getirmişti. Anthropic CEO’su Dario Amodei ise AI risklerini azaltmak için güvenlik önlemlerine ihtiyaç olduğunu savunuyor. Güvenlik önlemleri oluşturulması, geliştirmeyi durdurma çağrısından ayrı bir yaklaşım olarak öne çıkıyor.