322 göreve çıktı: Kodlama ajanı endeksinde üç test eşit ağırlıkta

Artificial Analysis, kodlama ajanı değerlendirmesindeki görev sayısını 290’dan 322’ye çıkardı. Açık kaynak kod depolarını düzenleme testine yeni görevler eklendi, komut satırı görevlerinin puanlama doğrulayıcısı değiştirildi.

Artificial Analysis, 14 Kasım itibarıyla yayımladığı Kodlama Ajanları Endeksi v2.1 yöntem belgesinde üç testin puanlarının eşit ağırlıkla birleştirildiğini açıkladı. Tüm görev puanlarını tek bir havuzda toplayıp ortalamasını alan bu yöntem, görev sayısı daha yüksek olan teste daha fazla ağırlık vermiyor.

v2.1; açık kaynak depoları düzenleme becerisini ölçen FrontierCode-AA 2.0’daki 132 görevden, komut satırı ortamında çok aşamalı işleri değerlendiren Terminal-Bench 4.1’deki 66 görevden ve depoları okuyup soruları yanıtlama becerisini ölçen SWE-Atlas-QnA-AA’daki 124 görevden oluşuyor. Üç testteki görevlerin toplamı 322.

Her görev, üç denemenin sonuçlarına göre değerlendiriliyor. Endeks, tek bir modelin doğru yanıt oranını ölçmek yerine ajanların farklı görev türlerindeki performansını birlikte yansıtıyor.

Görev sayısındaki artışın nedeni FrontierCode testinin yenilenmesi. v2.0’da kullanılan FrontierCode v1.1, 100 görev içeriyordu; v2.1’deki FrontierCode-AA 2.0 ise 132 görevden oluşuyor. Diğer iki testte görev sayısı değişmediği için toplam artışın 32 görevin tamamı bu testten geldi.

FrontierCode-AA 2.0, gerçek açık kaynak depolarına uygulanan değişikliklerin bakım sorumlularınca birleştirilmeye değer olup olmadığını değerlendiriyor. Zorunlu kontrolleri geçemeyen veya dışarıda bulduğu doğru yanıt niteliğindeki kodu kullanan denemelere sıfır puan veriliyor.

Terminal-Bench 4.1, 4.0’daki 66 görevi ve çalışma ortamını korurken doğrulayıcıyı yeniledi. Komut satırında çok aşamalı işler yapan ajanların yazdığı kodun puanlanma süreci de değiştirildi.

Ajanların yazdığı kodlar puanlama sırasında düşük yetkili, ayrı bir süreçte çalıştırılıyor. Doğru çözümleri hatalı biçimde eleyen doğrulama koşulları da düzeltildi.

Terminal-Bench ekibi, 4.1 duyurusunda doğrulayıcıyı iyileştirdiğini ve 4.0’da kaydedilen sonuçları yeni doğrulayıcıyla yeniden puanladığını bildirdi. Bu nedenle sürümler arasındaki farklar yalnızca görev sayısıyla sınırlı değil; puanlama yöntemi de değişti.

SWE-Atlas-QnA-AA, depodaki kodu doğrudan değiştirmek yerine okuyup soruları yanıtlama becerisini ölçen 124 görev içeriyor. Bu testte v2.0 ile v2.1 arasındaki görev sayısı aynı kaldı.

Artificial Analysis, görev başına maliyet hesaplama yöntemini de değiştirdi. Model sağlayıcılarının bildirdiği token kullanımı, olağan önbellek isabet oranlarının ölçümleriyle birleştiriliyor. Değerlendirme görevleri ile bazı puanlama ve maliyet hesaplamaları değiştiğinden, iki sürüm arasındaki puan farkını yalnızca model performansındaki değişime bağlamak zor.

Kamuya açık sıralamadaki her bir sonuç tek bir modeli değil, çıkarım ayarları ve çalıştırma araçlarıyla birlikte bir ajan yapılandırmasını temsil ediyor. Aynı model, hangi araçlar ve ayarlarla çalıştırıldığına bağlı olarak farklı puan alabiliyor.

Yöntem belgesi v2.1’i açıklıyor. 14 Kasım itibarıyla yayımlanan sıralama tablosunda da v2.1 ve üç değerlendirme yapılandırması yer alıyor.

TokenPost daha önce, ödül mekanizmasını manipüle etme girişimlerine sıfır puan veren değerlendirme ölçütünü içeren endeks değişikliğini haberleştirmişti. O dönemde ele alınan v1.4 güncellemesinin ardından v2.1’de kod düzenleme görevleri ve komut satırı işlerinin puanlama doğrulayıcısı değişti.