MKA'da 200 görev gizli: puanlamada doğruluk %75, tasarım %25

Görsel materyalleri okuyup iş belgeleri hazırlayan yapay zekâ ajanlarını değerlendirmek için MKA adlı kıyaslama testi tanıtıldı. Test, 10 alandaki 200 görevi kapsıyor; puanlamanın %75'i olgusal doğruluğa, %25'i görsel tasarıma dayanıyor.

Google DeepMind, Artificial Analysis ile birlikte Çok Modlu Bilgi Ajanı (Multimodal Knowledge Agent, MKA) kıyaslamasını geliştirdiğini 10'unda yayımladığı resmi açıklamada bildirdi. MKA, planlar ve videolar gibi çeşitli görsel materyalleri yorumlayıp profesyonel iş çıktıları üretme becerisini ölçüyor.

Görevler, 10 sektördeki 83 meslek grubunu yansıtıyor. Her biri, deneyimli bir uzmanın 3 ila 8 saat içinde tamamlayabileceği çok aşamalı işlerden örnek alıyor.

Ajanlardan mimari plan ve kesitleri karşılaştırıp tutarsızlıkları bulmaları, ardından bunları bir sunumda düzenlemeleri isteniyor. Mühendislik devre şemaları ve klinik görüntüler gibi görsel bilgi içeren dosyaları girdi olarak alan modeller, rapor, e-tablo veya sunum hazırlıyor.

MKA yalnızca soruları yanıtlama ya da metin özetleme becerisini değil, birden fazla dosyayı inceleyerek tamamlanmış bir çıktı üretme sürecini de değerlendiriyor. Her görev için hazırlanan puanlama tablosunda yaklaşık 70 kontrol maddesi bulunuyor; değerlendirme ölçütlerinin toplamı 14.284.

Puanlama, olgusal doğrulukla görsel tasarımı birlikte ele alıyor. Otomatik değerlendirici, gönderilen dosyaları açarak sayfa düzenini ve e-tablo formüllerini inceliyor.

Otomatik değerlendirici ile uzmanların değerlendirmeleri arasındaki %96,2'lik uyum, modellerin doğru yanıt oranı anlamına gelmiyor. Google DeepMind'in teknik raporundaki bu oran, 50 görevde yüksek puanlı ölçütler temel alınarak otomatik puanların uzman değerlendirmeleriyle karşılaştırılmasından elde edildi.

Artificial Analysis, değerlendirmeyi açık kaynaklı Stirrup çalıştırma ortamında yürütüyor. Modeller her görev için en fazla 250 tur ve 8 saat kullanabiliyor. Her görev yalnızca bir kez çalıştırıldı.

Görev başına tek çalıştırma yapıldığı için sonuçların tekrarlandığında ne ölçüde değişebileceği bu değerlendirmeye yansımadı. Görevlerin gizli olması ve tekrar sayısının sınırlı tutulması, dışarıdan tüm sıralamanın aynı şekilde yeniden üretilmesini zorlaştırıyor.

Google DeepMind'in teknik raporundaki Climb-WSR ölçütüne göre Claude Fable 5.2 %56,56, Gemini 4 Carbon ise %54,34 puan aldı. Gemini 4 Carbon ikinci sıradaydı; ancak raporda ilk üç model arasındaki puan farklarının istatistiksel açıdan anlamlı olmadığı belirtildi.

Climb-WSR, modellerin görece kolay geçemediği puanlama ölçütlerini esas alarak görev başına ağırlıklı karşılanma puanını hesaplıyor. Bu nedenle puan, görevlerin tamamının bitirilme oranını ya da tüm işlerdeki başarı oranını göstermiyor.

Gemini 4 Carbon'ın görev başına tahmini API maliyeti, Claude Fable 5.2'ye kıyasla 6,26 kat daha düşük hesaplandı. Karşılaştırmada raporun hazırlandığı sıradaki sağlayıcı standart fiyatları kullanıldı; yalnızca değerlendirmeye giren modellerin çağrı maliyetleri hesaba katıldı, puanlama maliyetleri hariç tutuldu.

Google DeepMind, kıyaslamanın ortak geliştiricisi olmasının yanı sıra kendi modeli Gemini 4 Carbon'ı da değerlendirmeye dahil etti. Artificial Analysis, değerlendirmeyi bağımsız biçimde yürüttüğünü bildirdi.

TokenPost'ta daha önce yayımlanan haberde Gemini 4 Carbon'ın başka bir yapay zekâ performans göstergesinde 59 puanla ilk sırada yer aldığı aktarılmıştı. MKA farklı bir değerlendirme olduğu için iki ölçütün puanları aynı ölçek üzerinden karşılaştırılamıyor.

Değerlendirme yanıtlarının eğitim verilerine sızma riskini azaltmak amacıyla 200 görev gizli tutuluyor. Görev biçimini gösteren 10 örnek ise kamuya açık.