Google ve Carnegie Mellon’dan AI harness çalışması: Entegre puan %76,7

Google ve Carnegie Mellon Üniversitesi araştırmacıları, AI ajanlarının işlevselliğini ve güvenliğini birlikte gözeten bir harness evrimi yöntemi önerdi. SecRepoBench’in keşif bölümünde işlevsellik ve güvenlik koşullarını aynı anda karşılayan oran %76,7, BaxBench’in üç bölümündeki ortalama entegre puan ise %61,3 oldu.

Araştırmacılar, “Harmony Harness: Çok Amaçlı Öz Evrimleştirme için Ajan Harness’leri” başlıklı makaleyi 10 Ekim’de arXiv’de yayımladı. Çalışma Google Cloud AI Research, Google DeepMind ve Carnegie Mellon Üniversitesi araştırmacıları tarafından hazırlandı.

Harness, AI modelinin araçları çağırmasına, görev durumunu izlemesine ve süreci sürdürmesine yardımcı olan bir çalışma ortamıdır. Sistem istemleri, araçlar, doğrulama adımları ve iş akışları bu yapının parçaları arasında yer alır.

Mevcut harness evrimi yöntemleri genellikle sistemi tek bir puana göre topluca değiştiriyor. Araştırmacılar, işlevselliği artıran değişikliklerin güvenlik denetimlerini gevşetebileceğini; güvenliği güçlendiren önlemlerin ise gerekli görevleri de engelleyebileceğini belirtti.

Harmony Harness, işlevselliği ve güvenliği ayrı ayrı değerlendiriyor ve birden fazla hedef arasındaki dengeyi gözeterek aday harness’leri inceliyor. Genel amaçlı bileşenleri belirli benchmark’lara uyarlanmış parçalardan ayrı geliştiriyor, ardından bunları göreve göre bir araya getiriyor. Harness’in tamamını değiştirmek yerine araçlar, teknikler ve görev mantığı gibi gerekli bölümleri seçerek düzenliyor.

Araştırmacılar, güvenli kod üretimi benchmark’ları SecRepoBench ve BaxBench’te sonuçları mevcut harness evrimi temel yöntemleriyle karşılaştırdı. SecRepoBench’in keşif bölümünde işlevsellik ve güvenlik koşullarını birlikte karşılayan oran %76,7 oldu. Bu değer yalnızca güvenliği ölçen bir puan değil.

Araştırmacılar, eğitimde kullanılmayan bölümlerde de karşılaştırma ölçütlerinden daha yüksek entegre puanlar elde ettiklerini bildirdi. BaxBench’in üç bölümündeki ortalama entegre puan %61,3’e ulaştı; temel yöntemin puanı %42,9 oldu. Her sonuç, üç çalıştırmanın ortalamasına dayanıyor.

Çalışma, harness tasarımının ajanların görev performansına etkisini ele alıyor. Bu yönüyle, AI ajanlarının yürütme yapısına göre benchmark sonuçlarının değişebileceğini inceleyen önceki araştırmayla aynı konuya odaklanıyor. Ancak değerlendirme ortamları ve deney koşulları farklı olduğu için iki çalışmanın puanları doğrudan karşılaştırılamaz.

Değerlendirme, güvenli kodlama görevleriyle sınırlı. Makalede, benchmark puanlarının gerçek hizmetlerde güvenlik veya performans garantisi vermediği ve güvenlik ile işlevselliğin belirgin biçimde çatıştığı farklı görev türlerinde ek doğrulama gerektiği belirtildi.

Makale, ticari bir ürünün piyasaya sürülmesine veya yöntemin gerçek bir hizmette uygulanmasına ilişkin plan sunmadı. Bulgular SecRepoBench ve BaxBench deneyleriyle sınırlı.