RTX 3090 Ti’de BF16 performansı testte yaklaşık %80 arttı

gpu-unlock açık kaynak aracı uygulanan NVIDIA($NVDA) RTX 3090 Ti’nin BF16 matris işlem performansı, testte 87,50 TFLOPS’tan 157,41 TFLOPS’a çıktı. Artış yaklaşık %80 olsa da tek bir işlem testindeki sonuç, yapay zekâ modellerinin genel çalışma hızının aynı oranda artacağı anlamına gelmiyor.

Geliştirici Zagitta, proje belgelerinde Linux çekirdek modülünün işlem hızı ayarlarını NVIDIA sürücüsü ekran kartına bağlanmadan önce değiştirdiğini belirtti. Yöntem vBIOS’u yeniden yazmıyor veya sürücüyü değiştirmiyor. Araç, RTX 30 serisinde kullanılan Ampere GPU’ları destekliyor.

Projenin RTX 3090 Ti testi, güç sınırını 450 W’a ayarlayarak büyük matris çarpımını beş kez ölçtü ve medyan sonuçları karşılaştırdı. Aynı koşullarda TF32 performansı 42,58 TFLOPS’tan 82,61 TFLOPS’a, FP16 ise 87,46 TFLOPS’tan 118,39 TFLOPS’a yükseldi. BF16, yapay zekâ işlemlerinde kullanılan bir sayı biçimi; TFLOPS ise saniyedeki işlem sayısını ifade ediyor.

Zagitta, proje belgelerinde kullanıcı testlerinde büyük dil modellerinin prefill hızının %14 ila %36 iyileştiğini bildirdi. Prefill, modelin yanıt üretmeye başlamadan önce girdi metnini işlediği aşama. Buna karşılık yanıtın token token oluşturulduğu decode aşaması ile INT8 işlemlerinde hızlar genel olarak benzer kaldı.

Sonuçlar ekran kartına göre değişti. Projenin kullanıcı bildirimlerinde RTX 3090 Ti’nin yanı sıra RTX 3090, RTX 3080, RTX 3070 ve RTX 3060 12GB modellerinde de performans artışı örnekleri yer aldı. Bazı RTX 3080 Ti 20GB OEM modellerinde ise araç çalıştırıldıktan sonra bile BF16 performansı yaklaşık yarı düzeyde kaldı.

Proje, ekran kartları arasındaki test koşulları farklı olduğu için artış oranlarının doğrudan karşılaştırılmasının zor olduğunu ve güç sınırının sonuçları önemli ölçüde etkilediğini belirtti. Bu nedenle testte görülen yaklaşık %80’lik artış, gerçek yapay zekâ hizmetlerine veya tüm ekran kartlarına genellenemez.