NVIDIA, RL ağırlık yenileme gecikmesini 5,7 kata kadar azalttı

NVIDIA(NVDA), pekiştirmeli öğrenmede (RL) eğitim GPU’larındaki ağırlıkları çıkarım GPU’larına yansıtma gecikmesini 5,7 kata kadar azaltan Reshard collective’i tanıttı. Şirketin NeMo RL testlerinde ağırlık yenileme (refit) süresi, önceki yönteme kıyasla 2,7 ila 5,7 kat kısaldı.

NVIDIA, yeni işlemi ve açık kaynaklı referans uygulaması NCCL M2N Reshard’ı 6 Kasım’da yayımladığı teknik blog yazısında tanıttı. Pekiştirmeli öğrenmenin sonradan eğitim aşamasında, çıkarım GPU’larının oluşturduğu eğitim izleri kullanılarak eğitim GPU’larındaki model güncelleniyor.

Eğitim ve çıkarım ayrı GPU’larda yürütüldüğünde güncellenen eğitim ağırlıklarının düzenli olarak çıkarım GPU’larına da aktarılması gerekiyor. Ağırlık yenileme adı verilen bu aktarım uzun sürerse model güncellemeleri arasındaki süre uzayabiliyor.

Geleneksel tümünü toplama ve yeniden dağıtma (gather-and-broadcast) yönteminde, eğitim GPU’larına bölünerek kaydedilen ağırlıklar önce bir araya getirilip tam bir tensör oluşturuluyor, ardından çıkarım GPU’larına yeniden dağıtılıyor. Çıkarım GPU’ları ise gelen verinin yalnızca ihtiyaç duydukları parçalarını tutuyor.

Reshard, kaynak ve hedefteki bölümlerin örtüşmesini hesaplayarak yalnızca gereken veriyi doğrudan aktarıyor. Böylece tam tensörü yeniden oluşturma ve aynı veriyi birden fazla kez gönderme adımları azaltılıyor.

Yöntem, eğitim ve çıkarımda kullanılan GPU sayısı ya da paralel işleme biçimi farklı olsa da bölünmüş ağırlıkların konumunu hesaplayıp aktaracak şekilde tasarlandı. NVIDIA, birden fazla çıkarım GPU’sunun aynı ağırlıklara ihtiyaç duyduğu durumda verinin ağ üzerinden bir kez gönderilip gereken parçaların GPU’lar arasında NVLink ile dağıtıldığı bir örnek de sundu.

NeMo RL testlerinde DGX H100 üzerinde Qwen 3 235B modelinin ağırlık yenileme süresi 6,4 saniyeden 1,9 saniyeye indi. Aynı sistemde DeepSeek v3 671B’nin süresi 14,9 saniyeden 2,6 saniyeye düştü.

DGX GB200 üzerinde DeepSeek v3 671B’nin süresi 6,1 saniyeden 2,3 saniyeye geriledi. Nemotron Ultra v3 için süre 8,2 saniyeden 2,3 saniyeye indi.

Karşılaştırmada NVIDIA’nın ölçtüğü geleneksel tümünü toplama ve yeniden dağıtma yöntemi kullanıldı. İyileşme yalnızca ağırlık yenileme gecikmesi için geçerli; bu sonuç, toplam RL eğitim süresinin veya işlem hacminin aynı oranda iyileştiği anlamına gelmiyor.

Ağırlık yenilemeye özel ayrı bir mikro kıyaslamada BF16 biçimindeki Qwen3.8 2.4T modeli 4,3 saniye kaydetti. Bu ölçüm yalnızca ağırlık yenileme işlemini kapsıyor.

NVIDIA, güncel büyük dil modellerinde ileri beslemeli projeksiyon ağırlıklarının toplam parametrelerin yaklaşık yüzde 95’ini oluşturduğunu belirtti. NeMo RL, Reshard’ı bu bölümde uygularken QKV projeksiyonu ve Mamba ağırlıkları gibi kalan bileşenlerde mevcut yolu kullanıyor.

NeMo RL, 22 Temmuz’da da paylaşılmayan GPU’lar arasındaki ağırlık yenileme optimizasyonunu ele almıştı. Bu duyuru, Reshard referans uygulamasını ve performans ölçümlerini yayımlaması bakımından önceki tartışmadan ayrılıyor.

NCCL M2N Reshard, açık depoda deneysel bir kütüphane olarak tanıtıldı. Depodaki Python paketi yönergeleri NCCL 2.30.7 gerektiriyor; diğer NCCL sürümlerinin doğrulanmadığını belirtiyor.

vLLM belgelerinde, dört H100 GPU’da eğitim ve çıkarım arasında ağırlık aktarımını gösteren bir M2N örneği yer alıyor. Bu örnek kullanım biçimini gösteriyor; NVIDIA’nın performans ölçümlerinin bağımsız olarak yeniden üretildiğini göstermiyor.

NVIDIA, 6 Kasım’da yayımladığı teknik blogda NeMo RL’nin arıza kurtarma sırasında iletişim gruplarını devre dışı bırakıp yeniden oluşturduğunu açıkladı. Blog, bu kurtarma adımını mevcut uygulamanın bir parçası olarak tanımladı.

Bir kullanıcı, herkese açık 23 numaralı sorunda NCCL 2.30.7 ve nccl-extensions 0.1.0 ortamında karşı sürecin durmasının ardından comm.abort() çağrısının geri dönmediği bir durumu bildirdi. Soruyu açan kullanıcı, sorunun NCCL 2.32-3 sürümünde de yeniden üretilebildiğini ekledi.