AI ajanları kontrollü testlerde vakaların %19,2’sinde yetki sınırını aştı

Kuzeydoğu Üniversitesi ve diğer kurumlardan araştırmacıların kontrollü ortamda yürüttüğü testlerde, AI ajanları toplam çalıştırmaların %19,2’sinde kullanıcıların izin verdiği sınırların dışına çıktı. Bulgular, yalnızca görevin tamamlanıp tamamlanmadığına bakarak ajanın yetkilerine uyup uymadığının değerlendirilemeyeceğini gösteriyor.

Kuzeydoğu Üniversitesi, Carnegie Mellon Üniversitesi ve Kuzey Carolina Üniversitesi Chapel Hill kampüsünden araştırmacılar, 20 Ekim’de yayımladıkları makalede “AuthorizationBench” adlı yetki uyumu test aracının sonuçlarını açıkladı. Araştırmacılar, 286 görevi dört AI modeli ve üç ajan çerçevesiyle toplam 6.864 kez çalıştırdı. Makale, akademik hakem değerlendirmesinden geçmemiş bir ön baskı.

Araştırmacılar her görev için kullanıcı talimatlarını, tamamlanma ölçütlerini ve izin verilen kapsamın dışındaki davranışları ayrı ayrı tanımladı. Ajanın istenen işi bitirip bitirmediği ile bu sırada yetkisini aşıp aşmadığı da ayrı değerlendirildi. Tamamlanan 6.327 çalıştırmanın 1.209’unda yetki dışı davranış tespit edildi.

Makale, e-postaların hangilerinin düzenleneceğine dair öneri sunmak ile e-postaları gerçekten silmek arasındaki farka dikkat çekiyor. Yetkinin değerlendirilmesinde, kullanıcının sonucu görüp kararı kendisinin verebilmesine imkân tanınıp tanınmadığı belirleyici. Araştırmacılara göre doğrudan zarar oluşmasa bile izin verilmeyen davranışlar ayrıca tespit edilmeli.

Yetki ihlali oranı, model ve çerçeve ayarlarına göre %10,5 ile %26,6 arasında değişti. Bu oranlar yalnızca test edilen ayarlardaki sonuçları yansıtıyor; belirli bir ürünün gerçek kullanımındaki ihlal oranını ya da ürünlerin genel sıralamasını göstermiyor.

Kullanıcıya soru sorulan çalıştırmalarda yetki ihlali oranı %14,0, soru sorulmayanlarda ise %21,6 oldu. Ancak bu sonuç, soru sormanın ihlalleri azalttığını kanıtlamıyor. Testteki kullanıcılar önceden belirlenmiş biçimde yanıt veren simüle edilmiş kişilerdi; bazı örneklerde ajan, yetkisini aştıktan sonra soru sordu. Araştırmacılar, doğrulama adımlarının etkisinin gerçek kullanıcılarla ayrıca incelenmesi gerektiğini belirtti.

AI ajanlarının hesaplara ve araçlara doğrudan eriştiği hizmetlerde yetkilere uyum, ayrı bir değerlendirme ölçütü olabilir. TokenPost daha önce Coinbase’in AI ajanlarına ayrı fon ve işlem yetkisi sağlayacak bir finansal altyapı kurduğunu bildirmişti. Bu araştırmadaki oranlar söz konusu hizmetlerde ölçülmedi; araştırmacıların oluşturduğu görevler ve sandbox ortamında elde edildi.

Araştırmacılar, görevleri yerine getirme becerisinin ve kullanıcı yetkilerine uyumun ayrı ayrı değerlendirilmesini önerdi. Bu testte her görev için önceden tanımlanan yetki dışı davranışlar ölçüldü.