Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

GPT-6.2 Astra, AA-3D'de 1318 Elo ile zirvede: Claude Fable 5.2'nin 47 puan önüne geçti

3D sahne düzenleme çalışmasının açık olduğu ofis monitörü / TokenPost.ai

OpenAI'ın yeni modeli GPT-6.2 Astra, 3D sahne üretme becerisini ölçen AA-3D değerlendirmesinde 1318 Elo puanıyla birinci sıraya yerleşti. İkinci sıradaki Anthropic'in Claude Fable 5.2 modeliyle arasındaki fark 47 puan.

Sıralama, bağımsız değerlendirme kuruluşu Artificial Analysis'in yönettiği AA-3D liderlik tablosundan geldi. Crypto Briefing'e göre OpenAI, 17'sinde (yerel saatle) GPT-6.2 Astra'yı kardeş modeli GPT-6.2 Sol ile birlikte duyurdu ve tablo bunun hemen ardından değişti. Sol, aynı testte 1259 Elo aldı.

AA-3D'de yapay zeka modeline yazılı bir istek veriliyor ve model, kullanıcının etkileşime girebileceği bir 3D sahneyi web uygulaması olarak kuruyor. Değerlendirme, farklı alanlardan 55 görevden oluşuyor.

Puanlamayı insanlar yapıyor. Değerlendiriciler hangi sahnenin hangi modele ait olduğunu bilmeden sonuçları karşılaştırıyor ve daha iyi olanı seçiyor. Astra'nın çıktıları 152 eşleşmenin 139'unda, yani yaklaşık yüzde 91'inde tercih edildi.

Elo, göreceli bir puanlama sistemi. Bir model rakiplerine karşı kazandıkça puanı yükseliyor, bu yüzden rakamın kendisinden çok rakipler arasındaki fark önem taşıyor. Astra ile Fable 5.2 arasında 47 puan, Fable 5.2 ile Sol arasında ise 12 puan var.

AA-3D ilk kez 12 Ekim'de yayımlandı. İlk değerlendirmede Anthropic ve OpenAI'ın üst düzey modelleri birbirine yakın puanlar almıştı. Kasım güncellemesinde ise Fable 5.2 öne geçti.

TokenPost daha önce Fable 5.2'nin 1271 Elo ile AA-3D'de zirveye çıktığını duyurmuştu. Ayın 10'unda kontrol edilen tabloda Fable 5.2, ikinci sıradaki Claude Sonnet 5.5'in 67 puan önündeydi. OpenAI'ın önceki modeli GPT-6 Astra ise 1168 puanda kalmıştı. Fable 5.2'nin puanı değişmedi, ancak tabloya giren iki yeni model birinciliği el değiştirdi.

OpenAI'ın kodlama aracı Codex'in kullanım ekranında ‘gpt-6.2-astra’ ifadesi daha önce görünmüştü. O sırada herkese açık API model listesinde bu isim yer almıyordu.

Astra, Artificial Analysis'in bir başka testi olan AA-Robotics v0.1'de de 79 puanla en yüksek skoru aldı. Sol 78, Fable 5.2 ise 75 puanla onu izledi.

Crypto Briefing'in aktardığına göre Sol'un görev başına maliyeti GPT-6 Astra'nın yaklaşık yüzde 15'i düzeyinde. Model, Artificial Analysis zeka endeksinde 57 puan aldı. Böylece OpenAI'ın model yelpazesi iki kola ayrılmış oldu: liderlik tablosunun tepesindeki yüksek performanslı Astra ve maliyeti düşüren Sol.

Piyasa açısından tablo şöyle: GPT-6.2 Astra, AA-3D'de 1318 Elo ile birinci oldu ve ayın başında lider olan Claude Fable 5.2'yi (1271 puan) 47 puan farkla geride bıraktı. İnsan değerlendiricilerin kör karşılaştırmasında 152 eşleşmenin 139'unda Astra'nın çıktısı seçildi. Aynı gün duyurulan GPT-6.2 Sol da 1259 puan aldı.

Dikkat edilmesi gereken noktalar da var. Elo göreceli bir puan olduğu için tabloya yeni bir model eklendiğinde mevcut sıralama değişebilir. AA-3D, 3D web uygulaması üretme becerisini ölçüyor ve diğer alanlardaki performansı temsil etmiyor. Astra, AA-Robotics v0.1'de de 79 puanla Sol'u (78) ve Fable 5.2'yi (75) geride bıraktı.

Kısaca terimler: AA-3D, Artificial Analysis'in 12 Ekim'de yayımladığı, etkileşimli 3D sahne üretimini ölçen ve 55 görevden oluşan bir değerlendirme. Elo, karşılaşma sonuçlarına göre puan hesaplayan göreceli sıralama yöntemi; kökeni satranç derecelendirmesine dayanıyor. Kör karşılaştırma ise değerlendiricinin çıktının hangi modelden geldiğini bilmeden üstünlüğü belirlemesi anlamına geliyor.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1