GLiDE, System One modellerinde performans lideri; güvenilirlikte 7. sırada

SO-Arena değerlendirmesinde GLiDE, System One modelleri arasında en yüksek genel performans puanını aldı ancak karar güvenilirliğinde 18 model arasında 7. oldu. Genel performans sıralamasında iki System Two referans modeli GLiDE’nin önünde yer aldı.

Araştırmacılar, 11 Kasım’da arXiv’e sundukları çalışmada 11 alandaki 2.919 görev üzerinden 21 modeli karşılaştırdı. Makalenin değerlendirme kapsamına iki System Two referans modeli ve ek akıl yürütme kullanıp kullanmayacağına otomatik karar veren bir model de dahil edildi.

System One modelleri uzun yanıtlar üretmek yerine verilen bilgilere ve önceden belirlenmiş seçeneklere dayanarak karar veriyor. Sonuçları, seçeneklere atanmış puan veya olasılık gibi yazılımların doğrudan işleyebileceği bir biçimde sunuyor.

Görevler 40 açık veri kümesi, kıyaslama testi ve ortamdan oluşturuldu. Sabit girdiler üzerinden karar verilen statik görevlerin sayısı 2.300, web veya araç ortamlarıyla etkileşim gerektiren görevlerin sayısı ise 619’du. Ortam temelli görevler, 337 web ve 282 araç kullanımı görevinden oluşuyordu.

Değerlendirme; duygu ve hisleri anlama, niyet sınıflandırma ve yönlendirme, matematik, kod anlama, bilimsel akıl yürütme, bilgi ve genel kültür, güvenlik, arama ve yeniden sıralama, görev tamamlamayı doğrulama, araç ve API kullanımı ile metin tabanlı web etkileşimi alanlarını kapsadı. Araştırmacılar bu alanları anlamlandırma, bilgi ve akıl yürütme, güvenlik ve politika uyumu, kanıt değerlendirme ve ajan görevlerini tamamlama olmak üzere beş beceri grubunda topladı.

Beceri puanlarında 11 alan eşit ağırlıkla hesaba katıldı ve her alanda ağırlık daha zor görevlere verildi. Ancak zorluk sınıflandırmaları alanlara göre değiştiği için, puanlar farklı alanlardaki görevlerin zorluğunu doğrudan karşılaştırmaya imkân vermiyor.

Makaledeki genel performans puanları GPT-6 Sol için 82,3, GPT-6 Luna için 79,7 oldu. System One modellerinin en yüksek puanlısı GLiDE 70,2 puan aldı ve iki System Two referans modelinin gerisinde kaldı.

Hız ölçümünde açık ağırlıklı System One modelleri, tek bir H100 GPU’da görev başına 0,3 saniyeden kısa sürede yanıt verdi. Araştırmacılar, bu hızın GPT-6 Sol ve GPT-6 Luna’dan onlarca kat yüksek olduğunu bildirdi.

Güvenilirlik değerlendirmesinde araştırmacılar, aynı görevin seçenek sırasını 12 kez değiştirerek modelin ilk seçtiği yanıtı koruyup korumadığını inceledi. Bu test, seçeneklerin sıralaması değiştiğinde modelin kararının değişip değişmediğini ölçüyordu.

Araştırmacılar ayrıca doğru yanıt seçeneğinin bulunmadığı görevler sundu. Amaç, modelin geçerli bir yanıt olmadığını fark edip etmediğini belirlemekti.

Makaledeki güvenilirlik puanı, seçenek sırası değiştiğinde kararın korunması ile doğru yanıtın bulunmadığını saptama sonuçlarının birleştirilmesiyle hesaplandı. Dolayısıyla bu puan, genel doğruluk oranını veya gerçek hizmetlerdeki kararlılığı ifade etmiyor.

Güvenilirlik sıralamasında JevAny-27B ilk sırada yer aldı. Model, 21 modelin tümünün genel performans sıralamasında 11. oldu; bu da performans ve güvenilirlik sıralamalarının örtüşmediğini gösterdi.

Ek akıl yürütmenin etkisi de alana göre değişti. StartLux Auto, matematik görevlerinde ek akıl yürütmenin her zaman etkin olduğu koşulda 92,5, kapalı olduğu koşulda 50,8 puan aldı. Ölçek karşılaştırmasına yönelik bazı deneylerde küçük ve büyük modellerin temel sürümleri de farklıydı. Bu nedenle yalnızca model boyutunun etkisini ayırmak zordu.

Değerlendirilen modeller arasında TypeSafe AI’nin Jev API 1.14 sürümü de vardı. TokenPost, daha önce Jev’in cümleler yerine seçenekler ve olasılıklar döndüren bir model olduğunu aktarmıştı. Bu çalışma, söz konusu model türünü sınıflandırma ve yönlendirmenin yanı sıra web görevleri ve araç kullanımı alanlarında da değerlendirdi.