MI355X'te MXFP4 vLLM testi: AMD ve Meta, ATen'e kıyasla 3,01 kata varan artış bildirdi

AMD(AMD) ve Meta(META), tek bir AMD Instinct MI355X üzerinde yürüttükleri vLLM testinde MXFP4 koşulunda istek işleme performansının ATen referansının 3,01 katına ulaştığını açıkladı.

İki şirketin 21 Ekim'de yayımladığı teknik rapor, FlyDSL'in Instinct MI350 serisinin mevcut PyTorch operatörlerine nasıl bağlandığını ve performans ölçümlerini ele alıyor. Kullanıcılar desteklenen operatörlerde özel kernel'leri doğrudan çağırmadan FlyDSL'i kullanabiliyor.

Desteklenen işlemler arasında yoğun ve gruplu matris çarpımı (GEMM), attention, MXFP8 ve MXFP4 ölçekli matris çarpımı, RMSNorm ve TopK yer alıyor. Entegrasyon, FlyDSL'i AMD GPU'larında kullanılan mevcut PyTorch operatör yoluna bağlıyor.

FlyDSL, GPU hesaplama kodu yazmak için kullanılan bir araç. Bazı matris çarpımı uygulamaları PyTorch'un derleme özelliği torch.compile üzerinden seçilebiliyor. AMD'nin GPU yazılım platformu ROCm'de attention işlemlerini yürüten AOTriton'a da FlyDSL kernel'leri eklendi. Desteklenmeyen girdiler mevcut PyTorch uygulamasıyla işleniyor.

MI355X'te yapılan kernel testlerinde BF16 yoğun matris çarpımının 15 girdi şekli incelendi. Her şekil için daha hızlı olan mevcut ATen veya Triton uygulamasıyla karşılaştırıldığında hız, geometrik ortalamada 1,10 kat olarak ölçüldü.

MXFP8 ve MXFP4 matris çarpımı testlerinde 17'şer girdi şekli kullanıldı. ATen'e kıyasla sonuçlar sırasıyla 1,58 ve 1,68 kat oldu. Bu veriler, tek tek operatörlerin çalıştırılma hızını gösteriyor.

Kernel testlerine derleme ve ilk otomatik ayar süresi dahil edilmedi. MXFP testlerinde önceden dönüştürülmüş girdiler kullanıldı.

Gerçek çıkarım isteklerini işleyen vLLM için de tek MI355X üzerinde A/B testi yapıldı. Test edilen modeller Llama-3.1-8B-Instruct, Qwen3-32B ve Llama-3.3-70B-Instruct oldu.

Rapora göre vLLM testlerinde istek işleme performansındaki en yüksek artış BF16'da 1,13 kat, MXFP8'de 2,04 kat ve MXFP4'te 3,01 kat olarak ölçüldü. Sonuçlar modele ve eş zamanlı istek sayısına göre değişti.

Karşılaştırma yöntemi hassasiyet biçimine göre farklılaştı: BF16 için ATen ve Triton, MXFP8 için ATen (hipBLASLt), MXFP4 içinse ATen referans alındı. MXFP4 testinde lm_head kuantizasyon kapsamına alınmadı.

MXFP8 ve MXFP4 testleri her koşulda birer kez yapıldı. Raporda, bu nedenle sonuçlardaki değişkenliğin yeterince değerlendirilemediği belirtildi.

Kernel testleriyle vLLM sonuçları farklı ölçüm kapsamlarına sahip. İlk grup tekil operatörlerin çalışma hızını, vLLM testleri ise istek işleme performansını ölçüyor; bu nedenle sonuçlar tek bir ölçüm gibi yorumlanamaz.

PyTorch Foundation, San Jose'de 20-21 Ekim'de düzenlenen etkinliğe 3.500'den fazla kişinin katıldığını etkinlik sonrası değerlendirmesinde bildirdi. AMD'nin duyurusu yeni bir GPU tanıtımından çok, mevcut GPU'larda PyTorch operatörlerinin çalışma yollarını genişletmeye odaklandı.

AMD, etkinlik öncesi programda JIT derlemesinden önce AMD GPU'ları için yüksek performanslı Triton GEMM yapılandırmalarını tahmin etmeyi amaçlayan PerfModel oturumuna da yer verdi. Etkinlik programında bulunan oturumla ilgili olarak PyTorch Foundation'ın etkinlik sonrası değerlendirmesinde FlyDSL güncellemesi kaydedildi, ancak PerfModel performans sonuçları paylaşılmadı.

TokenPost daha önce Google ve Amazon'un mevcut PyTorch uygulamalarını kendi yapay zekâ çiplerinde çalıştırmaya yardımcı olan araçları duyurduğunu bildirmişti. FlyDSL duyurusu ise AMD GPU'larında mevcut PyTorch operatörlerinin çalışma yollarını genişletmeye yönelik ayrı bir gelişme.

AMD, etkinliğin ilk gününde Intel(INTC) ile PyTorch'un x86 CPU optimizasyon yolunu oneDNN üzerinden birleştirme kararı aldı. Daha önce duyurulan iş birliğinde AMD, ZenDNN optimizasyonlarını oneDNN'e entegre etmeyi planladığını açıklamıştı. Bu CPU yazılımı iş birliği, GPU'lar için yapılan FlyDSL entegrasyonundan ayrı.