NVIDIA DGX Spark’ta MTP saniyede 93,2 token kabul etti

NVIDIA($NVDA) DGX Spark sisteminde Nemotron 3.5 Lightning ile tek istek üzerinden yapılan testte, çoklu token tahmini (MTP) saniyede 93,2 kabul edilen tokena ulaştı. Aynı koşullarda temel yöntemin üretim hızı saniyede 75,6 token oldu.

NVIDIA’nın TensorRT Edge-LLM 0.10.0 performans tablosunda DFlash, batch 1’de saniyede 61,5 kabul edilen token kaydetti. Tabloda temel çözümleme üretilen token sayısına, MTP ve DFlash ise kabul edilen token sayısına göre ölçüldü.

Bir seferdeki istek sayısının 8’e çıkarıldığı batch 8 testinde temel yöntem saniyede 244,9 üretilen token kaydetti. MTP saniyede 185,0, DFlash ise saniyede 149,2 kabul edilen tokena ulaştı.

Batch 8 değerleri, 8 isteğin toplam işlem hızını gösteriyor. Üretilen token ve kabul edilen token farklı ölçütler olduğundan, bu sayılar üç yöntemin performansını aynı temelde karşılaştırmaya yetmiyor.

Token, yapay zeka modellerinin metni bölerek işlediği birimdir. Spekülatif çözümleme, sonraki token adaylarını önceden önerip doğrulayarak çıktıyı sürdürür; MTP ve DFlash bu yönteme dayanır.

NVIDIA, TensorRT Edge-LLM 0.10.0’ın Nemotron 3.5 Lightning için MTP ve DFlash desteği sunduğunu açıkladı. Performans tablosu, bu çalışma ortamında iki yöntemi temel çözümlemeyle karşılaştırıyor.

Tabloda test donanımı DGX Spark (GB10) olarak belirtiliyor. 64 GB ve 128 GB bellek seçenekleri ayrı ayrı listelenmediği için sonuçlar belirli bir bellek kapasitesine ait performans olarak değerlendirilemiyor.

Model kartındaki DGX Spark çalıştırma örneğinde NVFP4 model, vLLM 0.27.1 ve DSpark ile çalıştırılıyor. Komutta 3 spekülatif token, 0.85 GPU bellek kullanım oranı ve FP8 KV önbellek ayarı yer alıyor.

Bu örnek, TensorRT Edge-LLM karşılaştırmasından farklı bir çalıştırma yolunu gösteriyor. Bu nedenle model kartındaki ayarlar ile performans tablosundaki değerler aynı testin öncesi ve sonrası olarak karşılaştırılamaz.

Model kartına göre Nemotron 3.5 Lightning, toplam 30 milyar parametresinin 3 milyarını token üretimi sırasında etkinleştiriyor. DGX Spark model kartında en fazla 1 milyon tokenlık bağlam uzunluğu da belirtiliyor; bu değer, 64 GB’lık yapılandırmada doğrulandığı anlamına gelmiyor.

NVIDIA’nın geliştirici videosunda vLLM ve DSpark kullanılarak tek bir DGX Spark’ta eşzamanlı 16 görevin yürütüldüğü ve saniyede 500’den fazla token üretildiği gösteriliyor. Bu, şirketin sunduğu bir demo değeri. Çalıştırma motoru ve eşzamanlı görev sayısı TensorRT Edge-LLM’in batch 8 testinden farklı.

NVIDIA, 2 Ekim’de 64 GB birleşik belleğe sahip DGX Spark’ı duyurdu. Şirket o dönemde cihazın Acer, ASUS, Dell, Gigabyte, HP ve MSI aracılığıyla 23 Ekim’den itibaren satışa sunulacağını bildirdi.

TokenPost daha önce iki DGX Spark’ın bağlandığı performans testini ve satış planını haberleştirmişti. Bu performans tablosu iki cihazın birlikte çalıştırıldığı bir test değil; tek cihazda farklı çalıştırma yöntemlerini karşılaştırıyor.

TokenPost daha önce tek bir DGX Spark’ta farklı bir modelin çıkarım optimizasyonu sonuçlarını da ele almıştı. Söz konusu haberde Ling-3.0-flash test edilmişti; bu testte model ve koşullar Nemotron 3.5 Lightning karşılaştırmasından farklı.

NVIDIA, yerel çıkarımın avantajları arasında bulut bağlantısına bağımlılığın azalmasını ve verilerin cihaz içinde işlenebilmesini gösteriyor. Model kullanım koşulları OpenMDW-1.1 lisansına tabi.