NVIDIA, CUDA 13.4’e Görev Başına GPU Bellek Sınırı Ekledi

CUDA 13.4’ün MPS V3 sürümüne görev başına GPU bellek sınırı özelliği eklendi. Belirlenen katı sınırı aşan bellek tahsisleri, yetersiz bellek hatasıyla başarısız oluyor.

NVIDIA(NVDA), 27’sinde yayımladığı teknik blog yazısında özelliğin Kubernetes görevlerinde nasıl kullanılacağını açıkladı. Yöntem, CUDA’nın Çoklu İşlem Hizmeti MPS V3’ünü Linux cgroup ile birleştirerek her kapsayıcının GPU bellek kullanımını sınırlandırıyor.

Bellek sınırları yumuşak ve katı sınır olarak ikiye ayrılıyor. Yumuşak sınır, görev için belirlenen bellek hedefi niteliğinde. Bu sınır aşılsa bile tahsis başarılı olabilir; ancak bellek rekabeti yaşanırsa MPS görevi sistemden çıkarabilir veya sonlandırabilir.

Katı sınır ise bellek tahsisinin üst sınırını belirliyor. Bu sınırı aşan tahsisler yetersiz bellek hatasıyla sonuçlanıyor; yumuşak sınırdan farklı olarak katı sınırın aşılmasına izin verilmiyor.

Kubernetes’te yalnızca CUDA özelliğini kurmak, GPU’ların görevlere otomatik atanmasını sağlamıyor. Zamanlayıcının görevin hangi GPU’da çalışacağını, bellek talebini ve hesaplama kaynaklarının nasıl paylaşılacağını belirlemesi gerekiyor.

Açık kaynaklı GPU Fractioning Operator, ayarları GPU düğümlerine uyguluyor ve bellek ile hesaplama kullanımını GPU’nun tamamı yerine bölümlenmiş kaynak birimleri üzerinden ölçüyor. Bu yapıda GPU atamasını ve çalışma modunu zamanlayıcı seçerken, Operator düğümde sınırları uyguluyor.

NVIDIA, KAI Scheduler’ın GPU Fractioning’i entegre eden ilk zamanlayıcı olduğunu bildirdi. KAI Scheduler’ın değişiklik kayıtlarında, 23 Eylül’de yayımlanan v0.18.0 sürümüne bölümlenmiş GPU bellek talebi ve hesaplama modu desteğinin eklendiği belirtiliyor.

Görevler için gereken bellek miktarı ile azami kullanım sınırı ayrı ayrı tanımlanabiliyor. Azami kullanım sınırı belirlenerek görevin talep ettiği miktarın üzerinde kullanabileceği bellek de ayarlanabiliyor.

Hesaplama kaynaklarını paylaşmanın iki yolu bulunuyor: zaman bölüşümü ve SM paylaşımı. Zaman bölüşümünde görevler GPU kullanım süresini sırayla kullanıyor. SM paylaşımında ise GPU hesaplama kaynakları birden fazla görev tarafından aynı anda kullanılıyor.

NVIDIA, iki yöntemin hata yalıtımı düzeylerinin farklı olduğunu açıkladı. Zaman bölüşümünde görevlerin hata alanları birbirinden ayrılırken, SM paylaşımında ortak kullanılıyor. Zamanlayıcı, iki hesaplama modunun aynı GPU’da birlikte kullanılmasını önlüyor.

Mevcut GPU paylaşım yöntemi MIG, GPU’yu donanım düzeyinde bölümlere ayırıyor. Yeni bellek bölümlendirme özelliği ise MPS V3 üzerinden görev başına bellek sınırları belirliyor. NVIDIA’nın belgelerinde özelliğin MIG cihazlarında desteklenmediği belirtiliyor.

Özelliğin kullanılacağı ortamın da gereksinimleri karşılaması gerekiyor. CUDA 13.4’ün yeni özelliği için R615 veya üzeri sürücü, bellek bölümlendirmesi içinse Linux cgroup v2 gerekiyor.

Kubernetes kümelerinde GPU düğümlerinde Operator’ın ve onu destekleyen bir zamanlayıcının da yapılandırılması gerekiyor. Bu nedenle yalnızca CUDA 13.4 desteğinin bulunması, özelliğin tüm GPU’larda ve kümelerde hemen kullanılabileceği anlamına gelmiyor.

NVIDIA, daha önce Rust tabanlı GPU çekirdeği yazma yolunu duyurmuştu. Şirket bu kez bir GPU’ya birden fazla görev yerleştirildiğinde bellek ve hesaplama kaynaklarını yönetmeye yönelik bir özellik sundu.