60 puanla 74 model arasında 4. sırada: Gemini 4 Carbon

Google’ın Gemini 4 Carbon modeli, Artificial Analysis’in en güncel yapay zeka endeksinde en yüksek akıl yürütme ayarıyla 60 puan alarak 74 model arasında 4. sıraya yerleşti. Görev bazındaki benchmark sonuçları ise teste göre değişti.

Değerlendirme kuruluşu Artificial Analysis, Zeka Endeksi v5.0.1’de Carbon’ın High ayarına 60 puan verdi. Aynı sayfada Medium ayarı 58, Low ayarı ise 54 puan aldı.

Google, 28 Ekim’deki duyurusunda Carbon’ın Zeka Endeksi v5.0’da 59 puanla ilk sırada yer aldığını açıklamıştı. TokenPost da Google’ın açıkladığı 59 puan ve birincilik sonucunu o dönemde haberleştirmişti. Endeks sürümleri ve karşılaştırılan model grupları farklı olduğu için bu iki sonuç aynı sıralamadaki yükseliş ya da düşüş olarak yorumlanamaz.

Google DeepMind’ın ekim ayı tarihli model kartında Carbon, yazılım geliştirme değerlendirmesi FrontierSWE 2’de yüzde 61,2 puan aldı. GPT-6 Astra yüzde 65,5, Claude Opus 5.5 ise yüzde 62,3 ile Carbon’ın önünde yer aldı. Model kartındaki sonuçlar, modellerin göreve özgü puanları arasındaki farkı gösteriyor.

Komut satırı ortamında görevlerin yürütüldüğü Terminal-Bench 4.0’ta Carbon yüzde 65,2 puan aldı. Aynı tablodaki GPT-6 Astra yüzde 59,1, Claude Opus 5.5 ise yüzde 59,6 puana ulaştı.

Bilgisayar kullanımını ölçen OSWorld-2.1’in çevrimdışı alt kümesinde Carbon yüzde 81,5, Claude Opus 5.5 yüzde 87,2 puan aldı. Bu değerler testin tamamına değil, belirli görevlerden oluşan bir alt kümeye ait.

Değerlendirme yönteminin de bazı koşulları bulunuyor. Google DeepMind, yöntem açıklamasında aksi belirtilmedikçe Carbon ve Argon sonuçlarının pass@1 ölçütüne dayandığını ve en yüksek akıl yürütme ayarının kullanıldığını belirtti. Küçük ölçekli benchmark’larda birden fazla denemenin ortalaması alındı.

Karşılaştırılan modellerin puanları, özel bir istisna olmadıkça geliştiricilerin kendi açıkladığı sonuçlardan oluşuyor. Carbon’ın bazı sonuçlarını Google doğrudan hesapladı, bazılarını ise kamuya açık harici sıralamalardan aldı. Tablodaki bütün puanlar aynı yöntemle ölçülmedi.

Google, Carbon’ı karmaşık kodlama ve uzun doğrulama görevleri için tasarladığını söylüyor. Model, Argon’dan daha fazla token kullanıyor; akıl yürütme ayarına göre kalite, gecikme süresi ve maliyet arasında tercih yapılabiliyor.

Model kartında halüsinasyon, yanıt gecikmesi ve zaman aşımı olasılıkları da belirtiliyor. Bu nedenle benchmark puanlarını gerçek kullanım ortamındaki hız veya kararlılığın doğrudan göstergesi olarak değerlendirmek mümkün değil.

Google, 28 Ekim’de yaptığı açıklamada Carbon’ı önce bazı siber güvenlik uzmanlarının kullanımına sunacağını ve dağıtımın o hafta başlayacağını duyurmuştu.

Google, 10 Kasım’da yaptığı bilgilendirmeyle erişimi ücretli API kullanıcıları ve kurumsal müşterilere genişletti. Şirket, geliştiricilerin ve işletmelerin modele Google AI Studio API ve Gemini for business üzerinden erişebileceğini açıkladı.

Google AI Ultra abonelerine ise Gemini uygulaması, Google Antigravity ve arama yapay zeka modu üzerinden kademeli erişim sunulacağı bildirildi. İlk duyurudaki erişim planı ile kullanım kapsamının genişletilmesi ayrı aşamalar olarak açıklandı.

API’nin başlangıç fiyatı, 1 milyon token başına girdi için 2 dolar (yaklaşık 2.700 won), çıktı için 10 dolar (yaklaşık 13.400 won) olarak belirlendi. İndirim 30 Kasım’a kadar geçerli olacak. Sonrasında fiyat, 1 milyon token başına girdi için 4 dolara (yaklaşık 5.400 won), çıktı için 20 dolara (yaklaşık 26.800 won) yükselecek.

Artificial Analysis’in Zeka Endeksi değerlendirmesinde görev başına hesapladığı maliyet, standart fiyatlarla 7,76 dolar (yaklaşık 10.400 won). Bu hesaba başlangıç dönemindeki indirimli fiyatlar dahil edilmedi.