Dynamo’nun dağıtım ve doğrulama adımlarını NVIDIA(NVDA) açıkladı

NVIDIA(NVDA), mevcut Kubernetes kümelerinde Dynamo dağıtık çıkarım ortamının nasıl dağıtılıp doğrulanacağını açıkladı. Yöntem, GPU worker’ları ve istek yönlendirme dâhil bileşenleri ortama uygun tariflerde bir araya getiriyor.

NVIDIA, 30 Ekim’de teknik blogunda AI Cluster Runtime (AICR) ile dağıtım akışını anlattı. Dynamo, model sunumunu birden fazla GPU worker arasında koordine eden dağıtık çıkarım çerçevesi. AICR ise bunu destekleyen bileşenleri ve altyapıyı birlikte yapılandıran bir araç.

AICR tariflerinde bileşen sürümleri ve ayarları, uyumluluk koşulları ve doğrulama maddeleri yer alıyor. AICR, önceden kurulmuş kümeyi yapılandırıp denetliyor; kümenin kendisini oluşturmuyor.

İşlem, kümenin mevcut durumunu anlık görüntü olarak kaydetmekle başlıyor. AICR; Kubernetes dağıtım ortamını, GPU’ları ve işletim sistemini belirleyerek bu koşullara uygun bir Dynamo tarifi oluşturuyor.

Oluşturulan tarif daha sonra dağıtım paketi hâline getirilip kuruluyor. Operatörler dağıtımı Helmfile, Helm veya GitOps yöntemiyle yapıyor ve kümenin tarifteki koşulları karşılayıp karşılamadığını denetliyor.

Tarif; NVIDIA GPU Operator, Node Feature Discovery, DRA GPU Driver, KAI Scheduler, Grove, izleme için Prometheus ve Dynamo Platform gibi bileşenleri içeriyor. GPU kaynaklarının tahsisi, zamanlama ve izleme gibi işlevler birlikte yapılandırılıyor.

NVIDIA’nın Amazon EKS ile GB200 ve GB300 NVL72 ortamları için verdiği örnek, AICR v1.0.0 sürümünü temel alıyor. Bu yapılandırmada Dynamo Platform chart’ı 1.4.2, GPU Operator 26.7.1 ve DRA GPU Driver 0.5.0 olarak belirtiliyor.

Bu sürüm bileşimi, söz konusu GPU ve bulut ortamları için hazırlanmış bir örnek. Gerçek kurulumda kümedeki GPU ve işletim sistemiyle desteklenen bileşimlerin kontrol edilmesi gerekiyor. Kurulum yönergesi, desteklenen yapılandırmaları görmek için aicr recipe list komutunun kullanılmasını öneriyor.

İstekleri worker’lara yönlendirmenin iki yolu bulunuyor. Dynamo frontend’in worker’ı doğrudan seçtiği yapılandırma, görece daha az bileşen gerektiriyor.

Paylaşılan Kubernetes ingress’in kullanıldığı yapılandırmada Dynamo EPP, worker uç noktasını seçiyor; gateway ise isteği iletiyor. Worker seçimiyle isteğin iletilmesi farklı bileşenler tarafından yapılıyor.

Blog yazısı, worker’ların sakladığı KV önbelleği durumunu kullanan yönlendirme ayarlarını da ele alıyor. KV önbelleği, modelin önceki bağlamı yeniden işlemesini önlemek için tutulan ara verilerden oluşuyor.

KV önbelleğinin depolama alanına taşınması yöntemini TokenPost daha önce Dynamo çıkarım ortamındaki veri hareketliliğiyle birlikte haberleştirmişti. NVIDIA’nın bu açıklaması ise Kubernetes üzerinde Dynamo ortamını yapılandırma ve doğrulama adımlarına odaklanıyor.

AICR v1.2.0-rc0 doğrulama kılavuzunda varsayılan dynamo-router modu least-loaded olarak belirtiliyor. AICR sürüm listesi ise v1.2.0-rc0’ı ön sürüm olarak gösteriyor.

Doğrulama önce kurulu bileşenlerin durumunu, GPU kaynaklarının tahsisini ve zamanlama gibi Kubernetes işlevlerini kontrol ediyor. Gerçek çıkarım performansı, GPU kullanan ayrı bir aşamada doğrulanıyor.

Tarifteki STATUS: pass ifadesi, yapılandırmanın yapısal olarak geçerli olduğu ve chart sürümlerinin sabitlendiği anlamına geliyor. Gerçek donanımda çıkarım performansının da doğrulandığını göstermiyor.

Dynamo’nun AICR kurulum kılavuzu, Kubernetes 1.34 veya üzerini ve DRA’yı gerektiriyor. AICR v1.1.2 temelindeki kılavuz, Dynamo Platform chart’ı için 1.4.2 sürümünü belirtiyor. Ayrıca kurulu platform sürümüne uygun çıkarım çalıştırma imajının kullanılmasını ve model dağıtımından önce dağıtım durumu ile işlev doğrulamasının tamamlanmasını öneriyor.