AI endeksinin %60'ı gizli; Gemini, ağırlıkları yayımlanan modellerin en yüksek puanını 27 puan geçti

Intelligence Index v5 puanlarının %60'ı, test setleri gizli tutulan ya da doğru yanıtları yayımlanmayan değerlendirmelerden geliyor. Gemini 4 Carbon 59 puan aldı; bu, ağırlıkları gerçekten yayımlanmış modeller arasındaki en yüksek puan olan 32'nin 27 puan üzerinde.

Artificial Analysis, Intelligence Index v5'i 27'sinde yayımladı. Yeni sürümde bilgi işleri, kodlama, bilim ve genel alanların her birine %25 ağırlık veriliyor.

Endeks ilk yayımlandığında Anthropic'in Claude Opus 5.5 modeli 58 puanla liderdi. OpenAI'ın GPT-6 Astra ve GPT-6.1 Sol modelleri sırasıyla 57 ve 55 puan aldı. Google'ın ana şirketi Alphabet'in ($GOOGL) Gemini 4 Carbon modeli 28'inde sıralamaya girince liderlik el değiştirdi. TokenPost, Gemini 4 Carbon'ın tanıtımını ve ilk değerlendirme sonuçlarını daha önce aktarmıştı.

Endeks, dokuz değerlendirme sonucuna ilgili ağırlıkları uygulayarak 0 ile 100 arasında tek bir puan hesaplıyor. Her alanın ağırlığı eşit olsa da alanlara dahil edilen değerlendirmeler ve modellerden beklenen görevler farklı.

v5'e iki yeni değerlendirme eklendi, mevcut üç değerlendirme ise yenilendi. FrontierCode 2.0, herkese açık yazılım depolarındaki kodlama görevlerini kapsıyor. Terminal-Bench-Science ise komut satırı ortamında bilimsel araştırma çalışmaları yürütmek üzere tasarlandı.

Gizli değerlendirmelerin ağırlığını artırmanın amacı, modellerin yayımlanmış sorulara göre optimize edilmesinin puanlar üzerindeki etkisini azaltmak. v5 puanlarının %60'ı, test setleri gizli tutulan ya da doğru yanıtları yayımlanmayan değerlendirmelere dayanıyor.

Soruları veya yanıtları yayımlanmayan değerlendirmelerin sonuçlarını dışarıdan aynı koşullarda yeniden üretmek zor. Değerlendirme başlıkları da değiştiği için v4.3 ile v5 arasındaki puan farkını doğrudan modelin performansındaki değişime bağlamak güç.

Değerlendirmelerin dil kapsamı da toplam puanın yorumlanmasını etkiliyor. Artificial Analysis, Intelligence Index'in ağırlıklı olarak İngilizce metin değerlendirmelerine dayandığını belirtiyor. Korece dahil çok dilli yetenekler ayrı bir ölçütte değerlendiriliyor.

v5 ilk yayımlandığında lider ile en yüksek puanlı açık ağırlıklı model arasındaki fark 12 puandı. Bu, önceki v4.3 sürümünde belirtilen 3 puanlık farktan fazlaydı. O sırada 46 puan alan Kimi K3.1 Pro, en yüksek puanlı açık ağırlıklı model olarak sınıflandırılmıştı ancak ağırlıkları henüz yayımlanmamıştı.

Ağırlıkları gerçekten yayımlanmış modeller arasında şu an en yüksek puan 32. Bu puanı DeepSeek V4.1 Flash 1017 ve GLM-5.3 aldı. Gemini 4 Carbon'ın 59 puanıyla aradaki fark 27 puan. Bu nedenle açık ağırlıklı olarak sınıflandırılan modellerle ağırlıkları gerçekten indirilebilen modelleri birbirinden ayırmak gerekiyor.

Endeks puanları, değerlendirmeye alınan görevlerdeki sonuçları gösteriyor. Gerçek kullanım oranını veya geliştiricilerin tercihlerini doğrudan ölçmüyor. Bu nedenle tek başına toplam puana bakarak belirli bir modelin her iş için daha uygun olduğu sonucuna varılamaz.

Gemini 4 Carbon, dokuz değerlendirme başlığının dördünde en yüksek puanı aldı. Ancak kodlama ve bilgi işleri alanlarında lider değildi. Toplam sıralama ile tek tek görevlerdeki sonuçları ayrı değerlendirmek gerekiyor.

Puan ile erişilebilirlik de birbirinden farklı. Artificial Analysis, 28'inde Gemini 4 Carbon'ın yalnızca bazı kullanıcılara sunulduğunu ve genel kullanıma henüz açılmadığını belirtti.

Hacker News'teki açık tartışmalarda, 1 puanlık farkın gerçek bir yetenek farkı anlamına gelip gelmediği ve gizli değerlendirmelerin dışarıdan yeniden üretilip üretilemeyeceği sorgulandı. Bazı kullanıcılar yeni değerlendirme sisteminin açık ağırlıklı modellere dezavantaj yaratıyor gibi göründüğünü savundu. Bunlar kullanıcı görüşleri; değerlendirme yanlılığının doğrulandığı anlamına gelmiyor.