Madencilik GPU’su 8 GB’den 80 GB’ye çıkarıldı; FP16 testinde A100’den yaklaşık %18 yüksek sonuç verdi

Kate adlı mühendis, Nvidia’nın (NVDA) madencilik için üretilen CMP 170HX grafik kartında kullanılabilir belleği 8 GB’den 80 GB’ye çıkardı. Kendi FP16 hesaplama testinde modifiye edilen kart, standart A100’den yaklaşık %18 daha yüksek işlem hacmi gösterdi.

Kate, 10’unda yayımladığı teknik yazıda “8 GB’lik CMP 170HX kartımı fiilen A100-80G’ye dönüştürdüm” dedi. Kartın ürün adı A100 olmadı; kilitli bellek ve hesaplama özellikleri kullanılabilir hâle geldi.

CMP 170HX ile A100’de aynı GA100 yongası kullanılıyor. Kate, madencilik için üretilen 8 GB’lik CMP 170HX modelinde elektronik sigorta (eFuse) ayarlarının belleğin büyük bölümünü ve bazı hesaplama özelliklerini kısıtladığını belirtti.

İncelediği 8 GB’lik modelde fiziksel olarak yaklaşık 80 GB yüksek bant genişlikli bellek (HBM) bulunduğunu aktaran Kate, mevcut yazılım yöntemiyle en fazla 64 GB’ın kullanılabildiğini söyledi.

Modifikasyonda “gerilim hatası enjeksiyonu” yöntemi kullanıldı. Çipin gerilimi kısa süreliğine düşürülerek normalde yazma işlemlerine kapalı eFuse kontrol işlevine erişildi; ardından sigorta ayarları ve yazılım yapılandırması değiştirilerek bellek ve hesaplama birimlerindeki kilitler açıldı.

Gerilimi ayarlamak için GPU ile gerilim regülatörü arasındaki sinyali yakalayıp ayrı bir dalga biçimi gönderen küçük bir kontrol kartı kullanıldı. Kate, kartın gücünü tekrar tekrar kesip yeniden verdiğini ve kendi ekipmanıyla tek bir kartın kilitli işlevlerini açmanın 1 ila 48 saat sürdüğünü bildirdi.

Kate’in incelediği 10 CMP 170HX 8 GB kartın 9’u 80 GB belleği kullanabildi. Diğer kartta düzgün çalışan bellek 64 GB ile sınırlı kaldığı için kapasite 80 GB’ye çıkarılamadı.

Kate, kullanılabilir belleğin tamamına veri yazıp ardından verileri okuyarak kartın çalışmasını kontrol etti. Yapay zekâ modeli çalıştırma yazılımları vLLM ve SGLang’i de çalıştırdığını belirtti.

Hesaplama kapasitesi de arttı. Kate’e göre modifiye kartta düzgün çalışan yaklaşık 120 ila 126 akışlı çoklu işlemci (SM) kullanılabilirken standart A100’de 108 SM etkin durumda.

Kate’in teknik yazısında modifiye kartın FP16 işlem hacmi, OpenCL ham çıktısında 85,858 TFLOP/s; daha sonraki sonuç tablosunda ise 85,861 TFLOP/s olarak verildi. Karşılaştırma için A100 72,488 TFLOP/s, önceki yazılım yöntemiyle modifiye edilen CMP 170HX ise 50,129 TFLOP/s kaydetti.

Modifiye kart ile A100 arasındaki yaklaşık %18’lik fark yalnızca söz konusu FP16 testinin sonucunu yansıtıyor. Bu sonuç, tüm yapay zekâ işlerinde aynı hız farkının ortaya çıkacağı anlamına gelmiyor.

Kate, ayrıca bazı bileşenleri güçlendirip ayarları değiştirerek PCIe 4.0’ı ve iki kart arasındaki NVLink bağlantısını test etti. Test ettiği iki kartın her birinde 80 GB bellek göründüğünü söyledi.

Hata düzeltme (ECC), görüntü işleme ve GPU bölümlendirme özelliklerini ise test etmedi. Bu işlevlerin çalışıp çalışmadığı, paylaşılan test sonuçlarında yer almıyor.

Kate, NVLink üzerine ek araştırma sonuçlarını daha sonra yayımlayacağını belirtti.