Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

GPT-6.2 Sol 85,2 puanla 1. sırada: OpenAI'nin 7 modeli Alignment Index'te ilk 7'de

Uyum değerlendirme tablosunun önünde sıralanan yedi model kartı / TokenPost.ai

OpenAI'nin yedi yapay zekâ modeli, Arena Alignment Index'in son sıralamasında ilk yedi sırayı aldı. GPT-6.2 Sol, 85,2 puanla ikinci sıradaki GPT-6 Astra'nın 0,6 puan önüne geçti.

Arena.ai'nin 19 Kasım'da yayımladığı resmi sıralama tablosunda GPT-6.2 Sol, GPT-6 Astra, GPT-6.1 Terra, GPT-6.1 Sol, GPT-6.2 Astra, GPT-6 Sol ve GPT-6 Luna sırasıyla yer aldı. Değerlendirme, 67 model ve 195.836 gerçek ajan oturumunu kapsayan geçici bir derlemeye dayanıyor.

GPT-6 Astra, OpenAI'nin eylül ayında tanıttığı modeldir. TokenPost daha önce GPT-6 Astra'nın tanıtım zamanına ilişkin piyasa bahislerini ele almıştı.

◇ Metodoloji değişikliğinin ardından gelen sıralama

Sonuçlar, değerlendirme yönteminin değiştirilmesinin hemen ardından geldi. Arena.ai, 17 Kasım'daki metodoloji değişikliği duyurusunda örnek oturumları baştan sona inceleme, araç çağrılarını ve sonuçlarını analiz etme kapsamını genişlettiğini açıkladı.

Kullanıcının bir sorun belirtmediği yetkisiz eylemler ile görev tamamlanmadan tamamlandığının iddia edilmesi de değerlendirmeye alındı. Yöntem, modelin yalnızca son yanıtının doğru olup olmadığına değil, görev sürecinde kullanıcının niyetine uyup uymadığına da bakıyor.

Aynı oturumlar, birden fazla araştırma kuruluşunun büyük dil modeli (LLM) hakemleri tarafından bağımsız olarak değerlendiriliyor. Yalnızca çoğunluk onay verdiğinde başarısız olarak işaretleniyor; böylece tek bir hakemin kararının toplam puan üzerindeki etkisi azaltılıyor.

◇ Alignment Index neyi ölçüyor?

Alignment Index, modelin kullanıcının niyeti ve hedefi doğrultusunda hareket edip etmediğini ölçüyor. Değerlendirme amacı, problem çözme doğruluk oranı veya sohbet tercihlerini birleştiren genel performans tablolarından farklı.

Değerlendirme sinyalleri üç başlıkta toplanıyor. △ Yetkisiz eylem, istek veya yetki sınırları dışındaki işlemleri ifade ediyor. △ Yanlış atıf, kullanıcı beyanı, talebi, onayı veya gerçeklerinin kanıtlarla çelişecek biçimde kullanıcıya mal edilmesi anlamına geliyor. △ Aldatıcı tamamlama ise tamamlanmamış bir görevin tamamlandığının açıkça belirtilmesini ifade ediyor.

Resmi ayrıntılı tablo, modellerdeki izinsiz düzenleme, talep edilmemiş çıktı, aceleci yürütme ve kapsam genişletme gibi başarısızlık türlerini ayrı ayrı gösteriyor. Endeks, modelin yalnızca ne yanıt verdiğini değil, kullanıcının izin verdiği sınırlar içinde nasıl davrandığını da değerlendiriyor.

Endeks ilk kez 8 Ekim'de 27 model ve 90.000 gerçek ajan oturumuyla yayımlandı. İlk duyuruda Arena.ai, gerçek görevler sırasında dosyaların izinsiz silinmesi veya kontrol edilmemiş bir işin tamamlandığının iddia edilmesi gibi örnekleri uyum başarısızlığı olarak açıkladı.

Bu sıralamada OpenAI dışındaki ilk model, Anthropic'in Claude Fable 5.2'si oldu ve 8. sırada yer aldı. Açık ağırlıklı modeller arasında en üst sırada bulunan Kimi K3.1 Pro ise 78,2 puanla 9. oldu.

Açık ağırlıklı model, temel parametrelerini yayımlayarak kullanıcıların kendi donanımlarında çalıştırabildiği modeldir. Kurumsal sunucular üzerinden sunulan kapalı modellerin aksine, model ağırlıkları indirilip doğrudan işletilebilir.

Kimi K3.1 Pro'nun 78,2 puanı, GPT-6.2 Sol'un 85,2 puanından 7 puan düşük. Bu endekste birinci ve ikinci sıralar arasındaki fark 0,6 puan iken, üst sıralarda bile modeller arasında belirgin fark bulundu.

OpenAI modellerinin ilk yedi sırayı alması, bu göstergede uyum başarısızlıklarının ölçülmesine dayanan bir sonuç. Arena.ai, ajanların genel görev yürütme kapasitesini ölçen endeks ile Alignment Index'i ayrı göstergeler olarak işletiyor.

Şu anda yayımlanan Alignment Index geçici sıralama olarak işaretlenmiş durumda. Bu nedenle sonuçlar, kullanıcı niyetine uyum ve görev raporlamasının güvenilirliğini ölçen değerlendirmedeki sıralama olarak okunmalı.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1