AI çıkarım kapasitesi endeksi yayımlandı: Bellek ve çip iletişimi de hesaba katılıyor

Bir AI hızlandırıcısının aynı anda işleyebileceği çıkarım isteği kapasitesini modelleyen yeni bir endeks yayımlandı. Endeks, işlem gücünün yanı sıra belleği, çipler arası iletişimi ve yanıt üretiminden önce girdiyi işlemek için gereken çip kapasitesini de hesaba katıyor.

Epoch AI, Çıkarım Performans Endeksi’nin (Inference Performance Index) 1. sürümünü 19 Ekim’de değişiklik günlüğüne ekledi. Endeks, hızlandırıcı başına eşzamanlı kod çözme isteği sayısını karşılaştırıyor ve referans ürün Nvidia (NVDA) GB300’e 1 puan veriyor.

Puan, dört modelin her birindeki işlem kapasitesinin GB300’e göre normalize edilip ortalaması alınarak hesaplanıyor. Her modele eşit ağırlık veriliyor. Sonuçlar modele ve çıktı hızına göre değişebiliyor; Epoch AI bu yöntemi resmi metodoloji belgesinde açıkladı.

Karşılaştırmada GLM-5.2, Kimi-K3, Qwen3-Coder 480B ve MAI-Base-2 mimarisini taklit eden bir model kullanıldı. Her istekte önbelleğe alınmış 262.144 tokenlık bağlam ele alındı ve saniyede 50 ila 400 token çıktı üretme koşulları incelendi.

Epoch AI, ön doldurma (prefill) ve kod çözme işlemlerinin farklı çip gruplarında yürütüldüğünü varsaydı. Ön doldurma kapasitesi ayrıca hesaplandı; her bir çıktı tokenı için 1,51 yeni giriş tokenının işlenmesi koşulu kullanıldı.

Çalışma süresi Nvidia’nın AISimulate aracıyla tahmin edildi. Model hesaplamaları ve donanım özellikleri temel alınarak belleğe sığan grup boyutları ve paralelleştirme düzenleri araştırıldı. Her çıktı hızında, çip başına eşzamanlı istek sayısını en yüksek düzeye çıkaran yapılandırma seçildi.

Hesaplamada, spekülatif kod çözme yinelemesi başına ortalama üç tokenın kabul edildiği varsayımı ve düşük hassasiyetli uzman ağırlıkları da kullanıldı. Epoch AI, token kabul oranlarının ve farklı hassasiyet düzeylerindeki çıktı kalitesinin aynı olması gibi unsurların modelleme varsayımları olduğunu belirtti.

Endeks, gerçek bir hizmette ölçülen eşzamanlı kullanıcı sayısını veya yanıt süresini göstermiyor. Kuyrukları ve araç çağrıları sırasında yaşanan duraklamaları hesaba katmıyor. Model kalitesi, güç tüketimi ve fiyat da puana dahil değil.

Nvidia’nın ürün belgelerine göre GB300 NVL72, tek bir rafta 72 Blackwell Ultra GPU’yu birbirine bağlıyor ve her GPU’da 288 GB HBM3e bellek bulunuyor. H100 SXM’de ise GPU başına 80 GB HBM3 bellek ve saniyede 3,35 TB bellek bant genişliği var.

Uzun bağlamlı çıkarımda saklanan bilgileri okumak için gereken bellek bant genişliği ve çipler arasındaki iletişim de çalışma süresini etkiliyor. Epoch AI, süre tahminlerinde işlem gücünün yanı sıra bellek bant genişliği ve çipler arası bağlantı özelliklerini kullandı.

Nvidia, GB300 NVL72’nin kullanıcı başına yanıt verme hızının Hopper platformuna kıyasla 10 kata kadar yüksek olduğunu öne sürüyor. Şirketin DeepSeek-R1 karşılaştırmasında GB300 için FP4 ve Dynamo, H100 için FP8 ve uçuş sırasındaki gruplama (in-flight batching) kullanıldı. Ölçüm yöntemi ve kapsamı Epoch AI endeksinden farklı olduğu için iki sonuç aynı kabul edilemez.

Nvidia daha önce GB300 üzerinde Qwen3.8-Flash-Next’in tek GPU işlem hacminin saniyede 16.000 tokenı aştığını bildirmişti. TokenPost’un aktardığı bu sonuç da belirli bir model ve sistem yapılandırmasına dayanıyor.

MLCommons’un 4 Kasım’da yayımladığı MLPerf Endpoints v1.0 raporunda, GB300 NVL72’nin dört GPU’lu bir sistemiyle DeepSeek-V4.1-Flash çalıştırıldı. Eşzamanlı 512 istekte sistemin işlem hacmi saniyede 35.185,2 token, ilk token yanıt süresinin 90. yüzdelik değeri ise 310,8 milisaniye olarak ölçüldü. Sonuç doğrulanmış olarak işaretlendi.

Raporda aynı koşullarda ölçülmüş bir H100 sonucu bulunmuyor. Bu nedenle rapor, iki ürün arasındaki performans farkını göstermiyor ve Nvidia’nın 10 kata kadar performans iddiasını doğrulamıyor. Epoch AI endeksi dört model ve farklı çıktı hızlarının ortalamasına dayalı bir kapasite modeli sunarken MLPerf belirli bir model ve sistem yapılandırmasını test ediyor; koşulları farklı olan bu iki sonuç doğrudan karşılaştırılamaz.