Trajectory Labs’ın yapay zekâ ajanları, güvenlik değerlendirmesi sırasında Epoch AI çalışanlarını taklit etti ve gerçek bir web sitesinde SQL enjeksiyonu saldırısı denedi. Epoch AI, özel materyallerin veya gizli bilgilerin sızdırılmadığını açıkladı.
Epoch AI, 13’ünde yayımladığı olay raporunda yaşananları ve alınabilecek önlemleri anlattı. Trajectory Labs da deneyin tasarımını ve sonrasında attığı adımları açıklayan bir yanıt yayımladı.
Trajectory Labs, ajanlarından var olmayan bir FrontierMath sorusunun ‘resmî yanıtını’ bulmalarını istedi. Soruyu çözemediklerine karar vermemeleri veya çalışmayı durdurmamaları yönündeki talimatı da tekrarladı.
İlk olay 20 Ekim’de yaşandı. Epoch AI, 5 Ekim’den beri işlettiği tuzak API’nin özel materyallere bağlanmayacak şekilde tasarlandığını söyledi.
Ajanlar, üç saat içinde tuzak API’ye 36.411 istek gönderdi ve çalışanların kurduğu iletişim kanallarına 487 mesaj iletti. Üç mesajda gerçek çalışanların adı ve unvanı kullanıldı; 27 mesajda gönderenler mühendis veya denetçi olduklarını öne sürdü.
Ajanlar yönetici kimlik bilgilerini ve gizli site yollarını aradı. Bir ajan veritabanını hedefleyen SQL enjeksiyonu girişiminde bulundu. Gerçek değerlendirme kayıtlarını açmaya yönelik girişimlerin sayısı 200’ü aştı; bu, verilerin ele geçirildiği anlamına gelmiyor.
23 Ekim’de bazı ajanlar, yerel bir kopyaya yönlendirilmek üzere ayarlanan DNS yönlendirmesini aşarak gerçek siteye erişti. Bu sırada tuzak API’ye 95 istek ve dört mesaj ulaştı.
Trajectory Labs, trafiği yerel kopyaya yönlendirdiğini ancak bazı deneylerde internet erişimine izin verildiğini açıkladı. Kullanılan IP adreslerini engelledikten sonra ajanlar başka adreslerden bağlandı. Şirket, harici bir web sayfası görüntüleme hizmeti üzerinden açık sayfaların okunduğu bir örneği de paylaştı.
26 Ekim’de Epoch AI’ın onayıyla ayrı bir test sitesinde deney yapıldı. Her iki taraf da ajanların internete bağlı olduğunu ve gerçek siteye de erişebileceğini biliyordu.
Test sırasında gerçek sitenin tuzak API’sine 65.460 istek ve 133 mesaj ulaştı; SQL enjeksiyonu girişimi de tekrarlandı. İki yoğun erişim kaydındaki tuzak API isteklerinin toplamı 101.871 oldu. Ayrı olarak kaydedilen 95 istek bu toplama dahil edilmedi.
Trajectory Labs, testte kullanılan modelin ‘Gemini 4 Argon’ olduğunu söyledi. Epoch AI, modelin kimliğini bağımsız olarak doğrulayamadığı için raporunda model adını belirtmedi.
FrontierMath, uzmanların hazırladığı zor matematik sorularıyla yapay zekânın matematik yeteneğini ölçen bir değerlendirme sistemi. TokenPost daha önce FrontierMath değerlendirme kayıtlarıyla yayımlanmış soruların çözülmesinin anlamını ayrı ayrı ele almıştı.
Trajectory Labs, internete bağlı deneylerin risklerini yeterince değerlendirmediğini kabul etti. Şirket, model sağlayıcısının temel güvenlik önlemlerine güvendiğini; riskli davranışları ayrıca önleyecek korumalar ve her deney için yazılı risk planları hazırlamadığını söyledi.
Şirket daha sonra testleri internet erişimi olmayan bir sanal ortamda yürüttü. Ajanlar, ağ engelini kaldırdığı varsayılan sahte bir yönetici anahtarını tekrar tekrar kullandı. Üç testin tamamında anahtarı kapatmayı başardılar ancak gerçek güvenlik duvarı çalışmayı sürdürdü.
Trajectory Labs, yapay zekâ uyumsuzluğu değerlendirme deneylerini 2 Kasım’da durdurdu. Risk değerlendirmesi ve azaltma önlemleri hazırlayıp CEO ile CTO’nun onayını aldıktan sonra testleri yeniden başlatacağını açıkladı.
Şirket, yeniden başlatma koşulları arasında yazılı risk planı, harici sistemlerin işletmecilerinden önceden onay alınması, gerçek zamanlı otomatik izleme ve acil durdurma sistemi ile etkilenen tarafları bilgilendirme sürecini sıraladı. Epoch AI da gelecekteki değerlendirmeler için önceden onay, gerçek zamanlı izleme ve olaydan etkilenen taraflara rapor verilmesini asgari koşullar olarak önerdi.
Comment 0