AMD, Muse Spark’ın yayımlandığı gün 8 GPU’lu çalıştırma yapılandırmasını duyurdu

AMD($AMD), Meta’nın($META) Muse Spark Open’ı yayımladığı 15 Ekim’de Instinct MI350X ve MI355X için bir çalıştırma yapılandırması açıkladı. Yapılandırma, tek bir düğümde 8 GPU’yu bir araya getirerek ROCm 7.2 ve vLLM ile çalışıyor.

AMD’nin teknik belgelerinde desteklenenler arasında BF16 biçimindeki özgün kontrol noktaları ile AMD Quark kullanılarak dönüştürülen MXFP4 ve FP8 kontrol noktaları yer alıyor. Tensör paralelliği için 8 GPU kullanılıyor; çalışma ortamında AMD AITER çekirdek kütüphanesi de bulunuyor.

Meta’nın donanım belgelerinde de AMD platformu için 8 MI350X veya MI355X GPU ile vLLM kombinasyonu listeleniyor. Belgelerde BF16 için TP8, MXFP4 ve FP8 içinse TP8+EP8 paralel işleme yapılandırması belirtiliyor. Belgenin diğer bölümlerinde NVIDIA($NVDA), Intel ve Apple donanım yapılandırmaları da ayrı ayrı ele alınıyor.

Ancak AMD belgesi FP8 kontrol noktalarını desteklenen seçenekler arasında sayarken açıklama bölümünde yönlendirilmiş uzman ağırlıklarının OCP MXFP4 olarak nicemlendiğini belirtiyor. Kontrol noktası adıyla açıklama örtüşmediği için FP8 yapılandırmasının ayrıntıları kesin olarak belirlenemiyor.

Meta’nın yayımladığı Muse Spark Open, toplam 816 milyar parametresinin her token için 42 milyarını etkinleştiriyor ve en fazla 1 milyon tokenlık bağlam penceresini destekliyor. Bu özellikler ve AMD’nin çalıştırma yapılandırması, şirketlerin açıkladığı teknik özelliklerdir.

AMD, teknik belgelerinde BF16 yapılandırmasının düğüm başına 32 bin tokenlık 32 isteği eşzamanlı işleyebildiğini belirtiyor. Bu değer AMD’nin açıkladığı çalışma koşullarına dayanıyor; diğer üreticilerin GPU’larıyla aynı koşullarda yapılmış bir karşılaştırma veya bağımsız doğrulama sonucu değil.

Bu yapılandırma 8 GPU gerektiriyor. Dolayısıyla modelin açık ağırlıklı olması, genel amaçlı bir bilgisayarda veya tek GPU’da çalıştırılabileceği anlamına gelmiyor.

AMD’nin daha önce Qwen 27B’yi yayımlandığı gün yerel olarak çalıştırmaya yönelik destek sunması gibi, bu duyuru da modelin yayımlandığı tarihte kullanılabilecek bir çalıştırma yolu ortaya koydu. Bu kez Meta’nın modeli için Instinct GPU’lar ile ROCm ve vLLM kombinasyonu tanıtıldı.