Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

1.291 puanla GPT-6.2 Astra, Agent Arena Index’te 6. sırada

OpenAI’ın GPT-6.2 Astra modeli, Arena.ai’nin Agent Arena Index sıralamasında 1.291 puanla 6. sırada yer aldı. Model, önceki GPT-6 Astra’dan 9 puan daha yüksek skor elde etti.

Arena’nın resmi sıralama tablosunda Claude Fable 5.2 ilk, Claude Opus 5.5 ikinci sırada yer aldı. Google DeepMind’ın Gemini 4 Neon ve Gemini 4 Carbon modelleri ise sırasıyla üçüncü ve dördüncü oldu.

Arena, yeni ajan endeksini ayın 18’inde yayımladı. GPT-6.2 Astra’nın model sayfasında puanla birlikte ±35 puanlık aralık ve 2–11 arasındaki sıralama dağılımı gösterildi.

Arena, endeks tanıtımında değerlendirmeye 2,9 milyondan fazla gerçek kullanıcı oturumunun dahil edildiğini açıkladı. Sıralamada 68 model bulunuyor.

Endeks; görev tamamlama, kullanıcıların övgü ve şikâyetleri, düzeltme talimatlarına uyum ve Bash komut satırı kullanımının istikrarı olmak üzere dört sinyali bir araya getiriyor. Gerçek kullanıcıların ajanlara iş verdiği oturumlarda görevlerin tamamlanıp tamamlanmadığı ve kullanıcı tepkileri birlikte değerlendiriliyor.

Görev tamamlama ölçütü, modelin kullanıcı tarafından verilen işi bitirip bitirmediğine bakıyor. Kullanıcı tepkisi ölçütü ise olumlu ve olumsuz geri bildirimleri karşılaştırıyor.

Düzeltme talimatlarına uyum, kullanıcının yön değiştirerek verdiği talimatların ne ölçüde izlendiğini değerlendiriyor. Bash istikrarı da modelin komut satırında çalıştırdığı komutların ne sıklıkla başarıya ulaştığını ölçüyor.

Arena, dört sinyali normalize ettikten sonra yakın tarihli oturumlara daha fazla ağırlık vererek ağırlıklı ortalama puan hesaplıyor. Bu nedenle toplam puanın 9 artması, modelin her tür görevde daha iyi performans gösterdiği anlamına gelmiyor.

Arena, yeni endeksi yayımlarken puanlama ölçeğini değiştirdiğini ancak önceki yöntemle karşılaştırıldığında model sıralamalarının değişmediğini belirtti. Önceki “doğrulanmış başarı” sinyalinin adı “görev tamamlama” olarak değiştirilirken araç halüsinasyonu sinyali ölçütlerden çıkarıldı.

Alan bazındaki sıralamalar genel sonuçtan farklı oldu. GPT-6.2 Astra kodlama endeksinde üçüncü, sohbet endeksinde 11. sırayı aldı. Önceki GPT-6 Astra ise bu iki endekste de sekizinci sıradaydı.

Ayın 18’inde yayımlanan alt endekslerde 1.031.799 kodlama oturumu ve 993.807 sohbet oturumu değerlendirildi. Her endeks, modelleri yalnızca ilgili görev alanında karşılaştırıyor.

OpenAI, model duyurusunda Astra’yı karmaşık profesyonel ve bilimsel çalışmalar için, GPT-6.2 Sol’u ise günlük işler için tasarlanan model olarak tanıttı. Şirket, kendi değerlendirmeleri Agents’ Last Exam ve Terminal-Bench-Science 0.1’de Astra’nın yeni en yüksek puanlara ulaştığını bildirdi.

API giriş ve çıkış token fiyatları önceki modele kıyasla %20 daha düşük. Önbelleğe alınmış girdilerde ise %60 indirim uygulanıyor. Önbelleğe alınmış girdi, daha önce işlenmiş talimatlar gibi içeriğin yeniden kullanılması anlamına geliyor.

Bu sonuç, farklı görev alanlarındaki performans ile kullanıcı tepkilerini birleştiren genel bir endeksi yansıtıyor. TokenPost daha önce Astra’nın ayrı bir 3D sahne üretimi değerlendirmesinde 1.318 Elo puanıyla ilk sırada yer aldığını bildirmişti. Bu değerlendirme, 3D çıktıları karşılaştırıyor.

TokenPost, daha önce aynı Arena.ai platformunun hizalanma endeksinde OpenAI modellerinin sıralamasını da aktarmıştı. Hizalanma endeksi izinsiz eylemleri, yanlış kaynak göstermeyi ve yanıltıcı tamamlanma bildirimlerini ölçerken Agent Arena Index görev tamamlama ve kullanıcı tepkilerini değerlendiriyor. İki endeks modelleri farklı ölçütlerle karşılaştırıyor.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1