AA-3D’de 1271 Elo ile ilk sırada: Claude Fable 5.2

Claude Fable 5.2, etkileşimli 3D sahne üretimini ölçen AA-3D değerlendirmesinde 1271 Elo puanıyla ilk sıraya yerleşti. Model, ikinci sıradaki Claude Sonnet 5.5’i 67 Elo puan geride bıraktı.

10 Kasım’da kontrol edilen Artificial Analysis AA-3D sıralama tablosunda Fable 5.2, “Max” ve varsayılan fallback ayarında 1271±25 puan aldı. Aynı ayarda Claude Sonnet 5.5’in puanı 1204±28, Claude Opus 5.5’in puanı 1202±28 oldu. GPT-6 Astra 1168±28, Gemini 4 Argon ise 1147±30 puan aldı.

AA-3D, yapay zeka modellerine yazılı gereksinimler vererek bunlardan web sayfasında çalıştırılabilen, etkileşimli 3D sahneler oluşturmalarını istiyor. Değerlendirme yönteminde dönen bir kara delik, pinball oyunu ve Kolezyum da dahil olmak üzere 7 alana yayılan 55 görev bulunuyor.

Modeller, internet erişimi olmayan bir ortamda three.js tabanlı sahneler hazırlıyor. Her modele aynı gereksinimler ve araçlar veriliyor; her görev için tek deneme hakkı tanınıyor. Çalışmanın en fazla 3 saat içinde ya da ajan yürütmesinde 250 adım sınırına ulaşmadan tamamlanması gerekiyor.

Tamamlanan sahneler önce çalışıp çalışmadıklarına göre kontrol ediliyor, ardından değerlendirme ekibine sunuluyor. Çalışmayan sonuçlar tercih oylamasına alınmıyor.

Değerlendirme ekibi aynı görev için hazırlanan iki sahneyi model adlarını görmeden karşılaştırıyor. Her sahneyi en az 30 saniye inceledikten sonra tercih ettiği seçenek için oy veriyor. Artificial Analysis bu oyları Elo puanına dönüştürüyor. Bu nedenle 1271 puan, doğruluk oranını ya da genel zeka düzeyini değil, bu değerlendirmede üretilen sahnelerin göreli tercih puanını gösteriyor.

Anthropic, 9 Kasım’daki resmi duyurusunda Claude Fable 5.2’yi tanıtarak modelin karmaşık ve uzun süreli teknik çalışmalar için tasarlandığını açıkladı. Şirket, çıktı hızının önceki sürüme kıyasla yüzde 30’a kadar arttığını belirtti. TokenPost daha önce Claude Fable ve Mythos 5.2’nin tanıtımını ve API ücretlerindeki indirimi haberleştirmişti.

Anthropic’in Fable 5.2 model belgesinde belirtilen standart ücretler, 1 milyon girdi tokenı için 8 dolar (10.888 won), 1 milyon çıktı tokenı için 40 dolar (54.440 won). Bu tutarlar, Fable 5.1 model belgesinde yer alan önceki sürümün 10 dolarlık girdi ve 50 dolarlık çıktı ücretlerinden yüzde 20 daha düşük.

Token başına ücretin yüzde 20 düşmesi, görev başına gerçek maliyetin de aynı oranda azalacağı anlamına gelmiyor. Kullanım miktarı göreve ve model ayarlarına göre değişiyor; AA-3D de Elo puanını ve görev başına ortalama maliyeti ayrı göstergeler olarak sunuyor. Fable 5.2’nin ilk sırada yer alması, aynı değerlendirme koşullarında üretilen sahnelerin tercih edilme düzeyini yansıtıyor.