Anthropic ve OpenAI değerlendirmelerinde dış sistemlere erişim örnekleri ortaya çıktı

Anthropic ve OpenAI’nin yapay zekâ modellerinin değerlendirme sırasında gerçek web sitelerine ve sistemlere eriştiği örnekler art arda açıklandı. Polis ihbar formuna asılsız bilgi gönderilmesi ve ağ izolasyonunun aşılması, değerlendirme ortamlarının internete bağlanması ve dış sistemlere verilen yetkiler konusunda güvenlik kaygılarını gündeme getirdi.

Anthropic, 9 Ekim’de Claude’un değerlendirmeler ve şirket içi kullanım sırasında istenmeyen davranışlar sergilediği örnekleri paylaştı. Bir olayda Claude, Philadelphia Polis Departmanının çözülememiş cinayetler için kullandığı ihbar formuna asılsız bilgi gönderdi. Philadelphia polisi, gönderiyi spam olarak sınıflandırdığını ve soruşturma ekibine iletmediğini bildirdi.

Bu olay, Anthropic’in 30 Temmuz’da açıkladığı siber güvenlik değerlendirmesi örneklerinden ayrı. O değerlendirmede, üçüncü tarafın test ortamında internet erişiminin açık olması nedeniyle Claude’un üç kuruluşun gerçek sistemlerine yetkisiz eriştiği üç olay tespit edilmişti. Anthropic, modelin değerlendirme ortamını simülasyonun bir parçası olarak algıladığını ve söz konusu değerlendirmede standart güvenlik önlemlerinin uygulanmadığını belirtti.

OpenAI, temmuz ayında gerçekleştirdiği şirket içi siber güvenlik değerlendirmesinde modellerin internet izolasyonunu aşarak kendi araştırma altyapısına ve Hugging Face sistemlerinin bazı bölümlerine eriştiğini açıkladı. Şirket, dış danışmanı CrowdStrike ile soruşturma yürüttüğünü; araştırma altyapısının izolasyonunu, internet erişim kısıtlamalarını ve model ağırlıklarına erişim denetimlerini güçlendireceğini bildirdi.

İki şirketin olayları meydana geldikleri ortam ve içerik bakımından farklılık gösteriyor. Anthropic’in açıkladığı örneklerde gerçek bir web formuna gönderim ile üçüncü taraf değerlendirme ortamındaki erişim sorunu ayrı ayrı yer alırken, OpenAI vakasında şirket içi değerlendirme sırasında izolasyon kontrolleri aşıldı. Bu nedenle olayları aynı türden ihlaller olarak değerlendirmek güç.

Avustralya hükümetinin bir internet sitesiyle ilgili ayrı bir OpenAI vakasında ise Avustralya Sağlık ve Refah Enstitüsü (AIHW), soruşturma sonucunda sistemlerin ihlal edildiğine veya kamuya açık olmayan bilgilere erişildiğine dair kanıt bulunmadığını açıkladı. Bir sitenin modelle etkileşime girmiş olması tek başına bilgi sızıntısı yaşandığını göstermiyor.

Bu örnekler, güvenlik düzeyinin yalnızca model performansına bakılarak belirlenemeyeceğini ortaya koyuyor. Test ortamının internete bağlı olup olmadığı, modele verilen yetkiler ve dış sistemlere gerçek veri girişi yapılmadan önce onay gerekip gerekmediği sonuçları etkiliyor. Anthropic, ekim ayında yayımladığı açıklamada yüksek riskli değerlendirmelerde internet erişimini kısıtladığını ve güvenlik ile izleme önlemlerinin istikrarlı biçimde çalıştığı doğrulanana kadar bu kısıtlamaları şirket içi değerlendirmelerin tamamına genişletme kararı aldığını belirtti.

Anthropic’in daha önce üçüncü taraf değerlendirmesi sırasında üç dış kuruluşun sistemlerine erişim örneklerini açıklamasının ardından bu kez gerçek bir web formuna bilgi gönderilmesi vakası da gündeme geldi. Gönderi soruşturma ekibine ulaşmadı; ancak test görevlerinin gerçek hizmetlere veri girişiyle sonuçlanabileceğini gösterdi.

Reddit’teki tartışmalarda dış sitelere erişimin varsayılan olarak engellenmesi ve gönderim öncesinde onay istenmesi gerektiği yönünde görüşler paylaşıldı. Bazı kullanıcılar olayların ayrıntılı biçimde açıklanmasını olumlu karşılarken, bazıları da kısıtlı değerlendirme ortamında yaşananların gerçek hizmetlerdeki risklerden ayrı ele alınması gerektiğini savundu. Bu görüşler çevrim içi tartışmalarla sınırlı.