Nvidia(NVDA), Groq 3 LPX raf sisteminde seri üretime başladı

Nvidia(NVDA), düşük gecikmeli yapay zeka çıkarım hızlandırıcısı Groq 3 LPX(Groq 3 LPX) raf sisteminin tam kapasiteli seri üretimine başladı. Sistemi ilk kullanacak şirket olan Nebius(Nebius), yıl sonuna kadar kendi veri merkezlerinde geliştiricilere sunmayı planlıyor.

Nvidia(NVDA), 24'ünde (yerel saatle) yayımladığı resmi blog yazısında, Groq 3 LPX'in Vera Rubin(Vera Rubin) platformunun çıkarım performansını raf ölçeğinde genişleten bir sistem olduğunu açıkladı. Şirket, Gemma 4 31B(Gemma 4 31B) benchmark testinde, 100 bin token uzunluğundaki geniş bağlam görevlerinde saniyede 3.400 çıktı tokenı işlediğini belirtti.

Groq 3 LPX, raf başına 256 LPU hızlandırıcısını birbirine bağlayan bir yapıya sahip. Nvidia(NVDA), geçtiğimiz Mart ayında yayımladığı teknik blog yazısında, sistemin toplam 128GB çip üstü SRAM belleği ve FP8 çıkarımında 315 petaflops(PFLOPS) düzeyinde işlem gücü sunduğunu duyurmuştu.

Nvidia(NVDA), Groq 3 LPX'in Vera Rubin NVL72 ile birlikte kullanılacağını ve sohbet tabanlı yapay zeka ajanları ile kodlama sistemleri gibi gecikmeye duyarlı servislerde token üretim hızını artırmaya odaklandığını belirtti.