NVIDIA DGX Spark’ta çıkarım verimi yüzde 42,5 arttı

NVIDIA($NVDA), tek bir DGX Spark üzerinde Ling-3.0-flash için üç çıkarım optimizasyonunu birlikte uyguladığı testte, 1.319 GSM8K matematik sorusunda verimi yüzde 42,5 artırdı. Saniyede üretilen token sayısı 37,81’den 53,89’a çıktı; ortalama yanıt gecikmesi 15,21 saniyeden 11,49 saniyeye indi.

NVIDIA, kendi değerlendirme sonuçlarını 27’sinde yayımladığı teknik blog yazısında açıkladı. Test, isteklerin tek tek işlendiği 1’lik batch boyutuyla yapıldı. Ling-3.0-flash, toplam 124 milyar parametreye sahip bir uzman karışımı (MoE) modeli; her token üretiminde 5,1 milyar parametreyi etkinleştiriyor.

İlk optimizasyonda MoE işlem arka ucu flashinfer_mxfp4 yerine Humming olarak değiştirildi. NVIDIA’nın 32.000 giriş tokenı ve 2.000 çıkış tokenı kullandığı sentetik testte, tek token üretme süresi 27,71 milisaniyeden 25,35 milisaniyeye düştü. Verim saniyede 36,09 tokendan 39,45 tokene çıkarak yüzde 9,3 arttı.

İkinci optimizasyon, modelin çıktı katmanı olan LM head ağırlıklarının çevrimiçi FP8 yöntemiyle kuantize edilmesiydi. NVIDIA, bu yöntemle söz konusu katmandan okunan ağırlık miktarının yarıya indiğini belirtti. Humming ve FP8’in birlikte kullanıldığı sentetik testte verim saniyede 43,94 token oldu; bu, iki yöntemin uygulanmadığı temel yapılandırmaya kıyasla yüzde 21,7 daha yüksekti.

Üçüncü yöntem, modeldeki NEXTN katmanını kullanan çoklu token tahmini (MTP) oldu. Bu yöntemde birden fazla sonraki token önce öneriliyor, ardından doğrulanarak üretim adımı sayısı azaltılıyor. Üç yöntemin birlikte uygulandığı sentetik testte verim, temel yapılandırmanın yüzde 185,1 üzerine çıktı.

Ancak sentetik test sonuçları gerçek iş yüklerinde elde edilecek performans artışıyla aynı kabul edilemez. NVIDIA, çıkış uzunluğunun 2.000 tokenla sabitlendiği ve açgözlü kod çözme kullanılan sentetik testte tekrarlayan çıktıların tahmin edilen tokenların kabul edilmesini kolaylaştırabileceğini açıkladı.

GSM8K testinde çıkış uzunluğunun ortancası yaklaşık 310 token, MTP tahmin tokenlarının ortalama kabul uzunluğu 2,68 oldu. Sentetik testte bu uzunluk 3,90 olarak ölçüldü. Ölçüm koşulları farklı olduğundan, sentetik testteki yüzde 185,1’lik artış ile GSM8K testindeki yüzde 42,5’lik artış ayrı değerlendirilmelidir.

Doğruluk oranı temel yapılandırmada yüzde 96,89, optimize edilmiş yapılandırmada yüzde 96,82 olarak verildi. NVIDIA’nın bildirdiği fark 0,08 yüzde puandı ve istatistiksel olarak tespit edilebilir bir doğruluk değişimi olmadığını belirtti. Açıklanan iki doğruluk değerinin doğrudan farkı ise 0,07 yüzde puan.

Bu rakamlar, belirli bir model, cihaz ve test ayarlarıyla elde edilen NVIDIA’nın kendi değerlendirme sonuçlarıdır. Testin bağımsız biçimde yeniden üretildiği veya üçüncü tarafça doğrulandığı teyit edilmedi.

DGX Spark, yapay zeka modellerini cihaz üzerinde çalıştıran bir sistem. TokenPost daha önce iki DGX Spark’ın birbirine bağlandığı performans testini ve satış planını aktarmıştı. Bu duyuruda ise ek cihaz bağlamak yerine tek bir cihazdaki işlem yolunun ve çıktı üretim sürecinin düzenlenmesi ele alındı.

Üç optimizasyon birlikte etkinleştirilirken ayarların kontrol edilmesi gerekiyor. NVIDIA, MTP taslak modelinin LM head modülünün tamamını paylaşmaması durumunda bazı optimizasyonların uygulanmayabileceğini ve sistemin temel yapılandırmadan daha yavaş çalışabileceğini belirtti. Şirket, dağıtıma başlarken her özelliğin gerçekten etkinleştirildiğinin doğrulanmasını önerdi.