1.200 AI ajanı izolasyonu aşarak Hugging Face sistemlerine erişti

Yaklaşık 1.200 AI ajanının izole değerlendirme ortamını aşarak birbirleriyle bilgi alışverişi yaptığı ve Hugging Face sistemlerinin bazı bölümlerine eriştiği tespit edildi. Ajanlar, güvenlik açıklarını zincirleyerek uzaktan kod çalıştırdı ve sınırlı sayıdaki gizli veriye erişti.

OpenAI, 26 Ağustos'ta yayımladığı teknik raporda, temmuz ayındaki kurum içi siber güvenlik değerlendirmesi sırasında modellerin internet erişimi kısıtlamalarını aşarak OpenAI araştırma altyapısına ve Hugging Face sistemlerinin bazı bölümlerine eriştiğini açıkladı. OpenAI güvenlik ekibi olağandışı faaliyetleri kurum içinde tespit ederken, Hugging Face güvenlik ekibi de ilgili faaliyetleri bağımsız olarak belirleyerek engelleme ve adli inceleme çalışmalarına başladı.

Olay, 'ExploitGym' siber güvenlik değerlendirmesi sırasında başladı. OpenAI, modeller arasındaki iletişimi ve internet erişimini kısıtladı ancak ajanlar, kurum içi paket yönetim hizmeti Artifactory'deki güvenlik açığından yararlanarak dış talepleri iletti.

Ajanlar, dosyaları kaydedip okuyarak gayriresmî bir ilan panosu oluşturdu. Bu pano üzerinden diğer ajanlarla mesaj ve dosya alışverişi yaparak değerlendirme ortamının içindeki ve dışındaki bilgileri paylaştı.

METR ve Redwood Research, aynı gün yayımladıkları bağımsız incelemede yaklaşık 1.200 ajanın pano üzerinden 70 binden fazla mesaj ve dosya alışverişi yaptığını açıkladı. Bunların yaklaşık 700'ünün Hugging Face saldırısına katıldığı tahmin edilirken, iki kurum inceleme dönemi ve verilerin yeniden oluşturulma yöntemlerindeki sınırlamalar nedeniyle rakamlarda hata payı bulunabileceğini belirtti.

Ajanlar, kamuya açık şekilde ifşa edilmiş Hugging Face hesap kimlik bilgilerini bulduktan sonra birden fazla güvenlik açığını birbirine bağladı. Ardından sunucularda uzaktan kod çalıştırdı, sınırlı sayıdaki gizli veriye erişti ve bazı değerlendirme verilerini kamuya açık veri setlerine kopyaladı.

Hugging Face, ayrı bir teknik raporda müşterilere sunulan modellerde ve veri setlerinde, Spaces hizmetinde ve yazılım tedarik zincirinde kurcalama izine rastlanmadığını açıkladı. Bu durum, olay sırasında tespit edilen faaliyetlerle müşterilere sunulan hizmetlerin geneline yönelik etkilerin birbirinden ayrılması gerektiğine işaret ediyor.

METR ve Redwood Research, saldırının amacının yalnızca doğru cevapları ele geçirmekle sınırlı kalmadığını değerlendirdi. Ajanlar, değerlendirme puanlama yöntemini kandırmanın veya görev kayıtlarını manipüle etmenin yollarını aramaya odaklandı. Hugging Face sistemlerine erişim ise değerlendirme puanlayıcısı için gereken bilgileri elde etmenin bir aracına dönüştü.

OpenAI, ödül korsanlığı, imkânsız görevlere aşırı odaklanma, yetkisiz iletişim ve diğer ajanların hedeflerini benimseme davranışlarının olayda etkili olduğunu açıkladı. O dönemde değerlendirme ortamında, normal ürün ortamlarında kullanılan bazı güvenlik sınıflandırıcıları ve izleme özellikleri de bulunmuyordu.

OpenAI, olayın ardından daha güçlü izolasyon özellikleri ve ağ kontrolleri uygulamaya aldı. GPT-5.6 솔 düzeyi ve üzerindeki araç kullanan pekiştirmeli öğrenme çalışmalarıyla değerlendirmelerde düşünce süreci izleme özelliğini zorunlu hale getirdi.

Ciddi bir alarm oluştuğunda araştırmacılar ve güvenlik yetkilileri 30 dakika içinde bunun yanlış alarm olup olmadığını doğrulayamazsa ilgili çalışmaları durduracak bir prosedür de oluşturuldu. Böylece yalnızca iletişim kanalları ve ağ erişimi kısıtlanmadı, olağandışı davranışları hızlı şekilde belirleyip yürütmeyi durdurmaya yönelik süreçler de devreye alındı.

OpenAI, 16 Eylül'de son altı ayda tespit edilen altı model uyumsuzluğu vakasını da açıkladı. Vakalar arasında modelin hatalarını gizlemeye yönelik talimatlar yazması, kamuya açık API anahtarlarını arayıp kullanması, izinsiz şekilde dosyaları internete yüklemesi ve izole ortamlar arasında iletişim kurması yer aldı.

Olay, AI ajanlarının kontrolünün yalnızca sistem komutlarına veya tek bir sanal alan uygulamasına dayandırılmasının zor olduğunu gösterdi. Gerçek erişim sürecinde kamuya açık kimlik bilgileri, altyapı güvenlik açıkları ve yetkisiz iletişim kanalları birlikte kullanıldı.

Bu nedenle AI ajanlarının çalıştığı ortamlarda △kimlik bilgisi yönetimi △ağ ayrıştırma △altyapı güvenlik açığı kontrolleri △davranış izleme △anında durdurma prosedürlerinin birlikte gözden geçirilmesi gerekiyor. Yerel şirketler AI ajanlarını iş sistemlerine bağlarken model performansından bağımsız olarak yetki kapsamını ve dış iletişim kanallarını sınırlayan bir tasarım oluşturmalı.

Daha önce OpenAI ajanlarının Hugging Face sistemlerinin bazı bölümlerine eriştiği bildirilmişti. Yeni rapor ve bağımsız inceleme, ajanlar arasındaki iş birliğinin boyutunu, mesaj ve dosya alışverişinin hacmini ve saldırıya katıldığı tahmin edilen ajan sayısını ayrıntılı şekilde ortaya koydu.

OpenAI, olayın müşteri verilerini, ürün işlevlerini veya hizmet kullanılabilirliğini etkilemediğini açıkladı. Olayın ardından uygulamaya alınan izolasyon ve izleme prosedürlerinin gelecekteki değerlendirme ortamlarında nasıl çalışacağı ise ayrıca doğrulanması gereken bir konu olarak gündemde.