16 eşzamanlı istekte 607,8 token/s toplam verim: NVIDIA GLM-5.3'ü iki GB300 DGX Station'da çalıştırdı

NVIDIA($NVDA), iki GB300 DGX Station üzerinde GLM-5.3'ü dağıtık biçimde çalıştırarak 16 eşzamanlı istekte saniyede toplam 607,8 token verime ulaştı.

NVIDIA, 13 Kasım'da yayımladığı teknik blog yazısında modelin nasıl dağıtılacağını ve kendi performans testinin sonuçlarını paylaştı. Station A, OpenAI uyumlu API'yi sunarken Station B çalışan düğüm olarak bağlanıyor; kullanıcılar tek bir API'ye erişiyor.

Z.ai tarafından geliştirilen GLM-5.3, uzman karışımı (MoE) modelidir. Toplam 753 milyar parametrenin 40 milyarı token işlenirken etkinleşiyor.

Uygulamada, temel modelin NVFP4 yöntemiyle kuantize edilmiş sürümü kullanıldı. Kuantize edilmiş kontrol noktası yaklaşık 464 GB boyutunda; bu, tek bir GB300 GPU'nun 252 GB yüksek bant genişlikli HBM3e belleğinden daha büyük.

Kontrol noktasının tamamı her iki cihazın depolama alanına kopyalanıyor, ancak çalışma sırasında iki GPU ağırlıkları ve hesaplamayı paylaşıyor. İki GPU'nun belleği tek bir bellek havuzunda birleştirilmiyor; model, ağırlıklar CPU belleğine taşınmadan çalışıyor.

İki cihaz, her token'ı üretirken RoCE bağlantısı üzerinden ara sonuçları paylaşıyor. Modeli bu şekilde bölerek çalıştırmak, GPU'lar arasındaki iletişimi de işlem sürecine dahil ediyor.

Uygulamada vLLM v0.30.0-aarch64 imajı ve 2 tensör paralelliği kullanıldı. Girdi ve çıktının toplamını kapsayan maksimum bağlam uzunluğu 98.304 token olarak ayarlandı.

FP8 KV önbelleği ve önek önbellekleme de kullanıldı. Çoklu token tahmini (MTP), her adımda dört token taslağı oluşturacak şekilde ayarlandı.

Kılavuzda bağlantı durumunu kontrol etme, kontrol noktasını kopyalama, API yanıtını doğrulama ve cihazlar arası iletişimi denetleme adımları yer aldı. NVIDIA, modeli iki cihaza yükleme yöntemini ve kendi yük testinde kullandığı ayarları da paylaştı.

NVIDIA'nın AIPerf testi, SPEED-Bench Coding'den 80 konuşma ve toplam 89 tur kullandı. Çıkarım yoğunluğu varsayılan değer olan 'max' olarak ayarlandı, çıktı üst sınırı 8192 token'dı ve ısınma istekleri ölçüme dahil edilmedi.

Toplam verim, eşzamanlı istek sayısı 1 iken saniyede 107,4 token, 8 iken 386,0 token ve 16 iken 607,8 token oldu. İstek sayısı 32'ye çıktığında verim saniyede 385,0 tokene düştü. Verim hesabına çıkarım token'ları da dahil edildi.

Ortalama istek gecikmesi, eşzamanlı istek sayısı 1 iken 49,84 saniye, 8 iken 114,17 saniye ve 16 iken 136,46 saniyeydi. İstek sayısı 32'ye çıktığında gecikme 453,54 saniyeye yükseldi.

Bu nedenle saniyede 607,8 token değeri, 16 eşzamanlı istekte ölçülen toplam verimi gösteriyor; tek bir kullanıcının yanıtı aldığı hızla aynı değil. Sonuçlar, NVIDIA'nın belirlediği kodlama veri seti ile önbellekleme ve MTP ayarlarında ölçüldü.

StorageReview, 5 Ekim'de iki GB300 DGX Station üzerinde aynı modeli test etmişti. Girdi ve çıktının her biri 512 token olan görevlerde, 256 eşzamanlı istekte çıktı verimi saniyede 5018 token olmuştu. O testte vLLM 0.27.1 ve beş MTP taslağı kullanıldığı için koşullar ve ayarlar farklıydı.

TokenPost daha önce DGX Spark üzerinde Nemotron 3.5 Lightning'in MTP performans testini haberleştirmişti. Önceki ölçüm, farklı cihaz ve modelde kabul edilen token'ları saymıştı; bu test ise kodlama istekleri eşzamanlı işlenirken toplam verimi ölçtü.

NVIDIA, uygulama örneğinde API'yi sunan Station A'nın yönetim arayüzü dahil tüm arayüzlerin kimlik doğrulaması olmadan erişime açık kalabileceği uyarısında bulundu. Harici hizmetlere bağlanırken güvenlik duvarı kurulmasını, kimlik doğrulama ve TLS kullanılmasını önerdi.