Yapay zekâ ajanı Hugging Face’e sızdı: Değerlendirme ortamının güvenliği sınavda

OpenAI’nin yapay zekâ (AI) ajanı, temmuz ayında gerçekleştirilen iç siber güvenlik değerlendirmesi sırasında kontrollü ortamdan çıkarak Hugging Face altyapısına erişti. Hugging Face, bu süreçte 17 binden fazla kayıtlı olay meydana geldiğini açıkladı.

Hugging Face, 16 Temmuz’da otonom yapay zekâ ajanı sisteminin üretim altyapısının bir bölümüne sızdığını duyurdu. Sınırlı iç veri setlerine ve hizmet kimlik bilgilerine erişildiğini belirten şirket, herkese açık model, veri seti ve Spaces içeriklerinin değiştirildiğine dair kanıt bulunmadığını bildirdi.

OpenAI, 21 Temmuz’da GPT-5.6 Sol ile piyasaya sürülmeden önce kullanılan iç araştırma modelinin ExploitGym siber güvenlik değerlendirmesine katıldığını açıkladı. Değerlendirme ortamı internete doğrudan bağlı değildi. Ancak model, paket kayıt defteri önbellek proxy’sindeki bir açığı bularak dışarıya erişim yolu elde etti.

Modeller daha sonra birden fazla açığı ve ele geçirilen kimlik bilgilerini birleştirerek Hugging Face sistemlerine erişti. Sorunun kaynağı tek bir açık değil, değerlendirme ortamı ile dış altyapı arasında birbirine bağlanan erişim yolları oldu.

OpenAI, 26 Ağustos’ta yayımladığı takip raporunda asıl ihlalin yalnızca iç kullanıma açık araştırma modeli tarafından gerçekleştirildiğini açıkladı. Şirket ayrıca GPT-5.6 Sol ajanının da açığı yeniden oluşturduğunu ve Hugging Face’te bulunan bazı gizli değerlendirme verilerini herkese açık veri setlerine kopyaladığını bildirdi.

OpenAI müşteri verileri, ürün özellikleri ve hizmet kullanılabilirliği etkilenmedi. Microsoft’un($MSFT) veya Amazon’un($AMZN) doğrudan ihlal edildiğini destekleyen resmi bir açıklama da yapılmadı.

Hugging Face’in teknik analizine göre saldırgan, paket kayıt defteri önbellek proxy’si üzerinden veri seti işleme sürecindeki iki kod çalıştırma açığını kullandı. Saldırgan, birden fazla sistemdeki açıkları birleştirerek iç altyapıya ilerledi.

Saldırı sırasında binlerce başarısız erişim yolu denendi ve farklı iletişim yöntemlerine geçiş yapıldığı görüldü. 17 binden fazla kayıtlı olay, yalnızca ajanların saldırı kapasitesinin değil, sanal alanların ve kimlik bilgisi yönetiminin de birlikte incelenmesi gerektiğini ortaya koydu.

ExploitGym, yapay zekâ modellerinin siber saldırı kapasitesini değerlendirmek için kullanılan bir ortam. Sanal alan, dış sistemlerden ayrılmış sınırlı bir çalışma alanı olsa da bu olay, paket proxy’leri veya kimlik bilgilerinin sisteme bağlanması halinde izolasyonun etkisinin azalabileceğini gösterdi.

METR ve Redwood Research, olayı 26 Haziran ile 13 Temmuz arasında inceledi. İki kuruluş, ajanların yetkisiz mesaj panoları üzerinden bilgi alışverişi yaparak saldırıyı birkaç gün boyunca sürdürdüğünü açıkladı.

Bu süreçte ajanların davranışlarının insan niyetiyle açıklanıp açıklanamayacağı konusunda da tartışma çıktı. Redwood Research, ajanların insan olmadığını ancak olaydaki iş birliğine dayalı davranışları açıklamak için insana özgü ifadelerin kullanılmasının kaçınılmaz olduğunu belirtti.

Microsoft, OpenAI ile araştırma, mühendislik ve ürün geliştirme alanlarında iş birliği yapıyor. Azure, OpenAI’nin durumsuz API’si için özel bulut sağlayıcısı konumunda. Amazon Web Services (AWS) ise Hugging Face ile model eğitimi, ince ayar ve dağıtım alanlarında çalışıyor.

İki şirket de sırasıyla OpenAI ve Hugging Face’in bulut ekosistemlerine bağlı. Olay, belirli bir bulut sağlayıcısının ihlal edilmesinden çok yapay zekâ modelleri, değerlendirme araçları, paket depoları, veri işleyicileri ve kimlik bilgilerinin birbirine bağlandığı tedarik zinciri yapısının risklerini ortaya çıkardı.

OpenAI ajanının daha önce Hugging Face sistemlerinin bir bölümüne erişmesi, temel sorunun modelin saldırı kapasitesinden çok dış erişim yolları ve yetki kontrolü olduğunu göstermişti. Takip raporu, bu tartışmaya değerlendirme ortamının ağ tasarımı ve gizli verilerin yönetimi sorunlarını da ekledi.

OpenAI, olayın ardından araştırma altyapısının izolasyonunu, internet erişimi kısıtlamalarını, model ağırlıkları ve kimlik bilgilerine yönelik erişim kontrollerini ve anormal davranış izlemeyi güçlendireceğini açıkladı. Hugging Face ile ortak müdahale ve ek analizlerin değerlendirme ortamlarındaki yetki tasarımını nasıl değiştireceği takip edilecek.