B200’de 295 TFLOPS’a kadar kompleks matris emülasyonu: Nvidia(NVDA) cuBLAS’a Ozaki-II ekledi

Nvidia(NVDA), CUDA Toolkit 13.4’ten itibaren cuBLAS’a FP64 matris çarpımı emülasyon yöntemi Ozaki-II’yi ekledi. B200 GPU’da kompleks matris çarpımı emülasyonu için açıklanan en yüksek performans 295 TFLOPS oldu. Bu değer belirli bir işlem yolunun azami hızını gösteriyor; bilimsel simülasyonların tamamının aynı hızda çalışacağı anlamına gelmiyor.

Nvidia, CUDA Toolkit 13.4.2 sürüm notlarında Ozaki-II’nin Ozaki-I’e kıyasla performans avantajı sağladığı durumlarda kullanıldığını ve Ampere ile sonraki GPU’ları desteklediğini belirtti. Bilim ve mühendislik hesaplamalarında kullanılan FP64, çift duyarlıklı bir sayı biçimidir. cuBLAS ise GPU’larda matris işlemlerini yürüten bir kütüphanedir.

FP64 emülasyonu ilk olarak CUDA Toolkit 13.0 Update 2’de Ozaki-I tabanlı, isteğe bağlı bir özellik olarak sunuldu. Ozaki-II, 13.4 sürümünde eklendi; 13.4.2 ise “13.4 Update 1” adıyla yayımlanan sonraki güncellemedir.

Nvidia’nın açıkladığı azami emülasyon performansı B200’de gerçek matris çarpımı DGEMM için 175 TFLOPS, kompleks matris çarpımı ZGEMM için 295 TFLOPS oldu. RTX PRO 6000 Blackwell Server Edition’da ise değerler sırasıyla 45 TFLOPS ve 70 TFLOPS’a kadar çıktı. Dört değer de matris çarpımı emülasyonunun azami performansını ifade ediyor.

Kompleks matris çarpımında kullanılan 2M algoritması, gereken gerçek matris çarpımı sayısını genellikle dörtten ikiye indiriyor. Nvidia Research, 2M algoritmasına Ozaki-II eklendiğinde kompleks matris çarpımının, aynı boyuttaki gerçek matris çarpımının süresinin yaklaşık iki katında tamamlanabildiğini açıkladı.

cuBLAS’ın emülasyon yolu, girdi matrislerini sabit noktalı biçime dönüştürüyor, ardından GPU işlem birimlerinden yararlanıyor ve ara sonuçları birleştiriyor. Nvidia’nın cuBLAS belgelerinde yöntemin işleyişi ve destek koşulları açıklanıyor.

Otomatik dinamik hassasiyet özelliği, girdi için gereken mantis bitlerinin sayısını hesaplıyor. Bu sayı belirlenen sınırı aşarsa emülasyon yerine yerel FP64 işlemine geçiliyor. Kullanılan işlem yolu, girdiye ve hassasiyet koşullarına göre değişebiliyor.

CUDA Toolkit 13.4.2’de emülasyon için gereken çalışma belleği yetersiz kaldığında cihaz başına bellek havuzundan alan alınmasını sağlayan bir iyileştirme yapıldı. Değişiklik, her tanıtıcı için tekrar tekrar bellek ayırmanın getirdiği yükü azaltmayı amaçlıyor.

Nvidia, aynı güncellemede Rubin GPU’larda ZGEMM azami performansının yüzde 25’e kadar artırıldığını da bildirdi. Bu oran yalnızca kompleks matris çarpımı için geçerli; başka işlemlerin veya programların tamamının çalışma süresindeki iyileşmeyi göstermiyor.

Matris çarpımı emülasyonundaki azami işlem hacmi, uygulamanın genel performansıyla aynı değil. Gerçek etki, matris çarpımının ilgili işteki payına, girdi koşullarına ve GPU’ya göre değişebilir.

Nvidia, Ozaki tabanlı önceki bir emülasyon örneğinde RTX PRO 6000 Blackwell Server Edition üzerinde Quantum ESPRESSO’nun çalışma süresinin varsayılan ayara kıyasla 1,5 kat hızlandığını bildirmişti. Bu sonuç, CUDA 13.4’teki Ozaki-II’nin doğrudan ölçümü değil.

Ayrı yayımlanan cuBLAS Patch Release 13.8.2, CUDA Toolkit 13.4 Update 1’e uygulanıyor ve Ozaki-II kullanan bazı kompleks BLAS3 rutinlerindeki nadir bir hatayı gideriyor. Hata, bileşenlerinin büyüklükleri birbirine yakın olan ve neredeyse paralel vektörlerin iç çarpımında ortaya çıkabiliyordu.

Öte yandan CUDA Toolkit 13.5.0 sürüm notlarında aynı türdeki nadir hata bilinen bir sorun olarak listeleniyor. Nvidia’nın CUDA Toolkit arşivinde 14 Kasım itibarıyla en güncel sürüm 13.5.0.

CUDA 13.5’te Ozaki-II desteği bazı simetrik ve Hermit rank-k işlemlerini kapsayacak şekilde genişletildi. Bu değişiklik, 13.4’te sunulan kompleks matris çarpımı emülasyonundan ayrı olarak desteklenen işlem türlerini artırdı.

TokenPost’un daha önce haberleştirdiği B300 tabanlı BF16x9 moleküler dinamik testi, FP32 emülasyonu örneğiydi. Bu test, hassasiyet biçimi ve ölçülen işlem bakımından FP64 matris çarpımı emülasyonundan farklı.