4 Güney Koreli yapay zekâ modeli için Dynamo dağıtım rehberleri yayımlandı; B200 yapılandırmaları açıklandı

Dört Güney Koreli yapay zekâ modeli için Dynamo dağıtım rehberleri yayımlandı. Rehberlerde model başına B200 GPU sayıları ile bütünleşik ve ayrıştırılmış çalışma yapılandırmaları yer alıyor.

Nvidia (NVDA), ayın 8'inde resmi blogunda yaptığı açıklamada SK Telecom ($017670) tarafından geliştirilen A.X K2, LG AI Research'ün K-EXAONE 2.0 modeli, Upstage'in Solar Open 2 modeli ve Motif Technologies'in Motif-3 modeli için tarifler yayımladığını bildirdi.

Dynamo, büyük modelleri birden fazla düğümde 서비스하는 açık kaynaklı bir çıkarım çerçevesidir. İstek yönlendirmesini ve GPU'lar arası iletişimi düzenleyerek modellerin dağıtık işlem kaynaklarında çalıştırılmasına yardımcı olur.

Nvidia, tariflerin varsayılan ayarlara kıyasla performansı en fazla 2 kat artırdığını belirtti. Ancak blogda karşılaştırma ayarları veya ölçüm iş yükleri açıklanmadı; bu nedenle söz konusu artışı dört modelin her biri için geçerli saymak mümkün değil.

A.X K2 tarifi, bütünleşik yapılandırmada 8, ayrıştırılmış yapılandırmada 12 B200 GPU kullanıyor. İlk yapılandırmada bütünleşik çalışanlar yer alırken, ikincisinde girdi işleme ve çıktı üretme çalışanları ayrılıyor.

Dynamo tarifleri listesi ve modellere ait belgeler, K-EXAONE 2.0 ile Solar Open 2 için 4 ve 8 B200 GPU'lu yapılandırmalar sunuyor. Motif-3 tarifi ise bütünleşik yapılandırma için 2, ayrıştırılmış yapılandırma için 8 GPU öngörüyor.

Bütünleşik yapılandırmada girdi işleme ve çıktı üretimi aynı yapı içinde yürütülüyor. Ayrıştırılmış yapılandırmada bu iki iş ayrı GPU kaynaklarına dağıtılıyor.

K-EXAONE 2.0 belgesi, 1.805 sohbet izinin kullanıldığı ölçüm sonuçlarını paylaştı. Dört B200 GPU'lu bütünleşik yapılandırmada kullanıcı başına çıktı hızının medyanı saniyede 51,4 token, ilk token gecikmesinin medyanı ise 291 ms olarak verildi.

Sekiz B200 GPU'lu ayrıştırılmış yapılandırmada kullanıcı başına çıktı hızının medyanı saniyede 54,9 token, ilk token gecikmesinin medyanı 2.230 ms oldu. İki yapılandırmanın eşzamanlılık ayarları da sırasıyla 7 ve 14 olarak belirlendi.

Belge, 262.144 tokenlık azami bağlam uzunluğunu aşan 38 isteği ölçümden çıkardı. GPU sayıları ve eşzamanlılık ayarları farklı olduğundan bu sonuçlar aynı koşullarda yapılmış doğrudan bir karşılaştırma olarak değerlendirilemez.

Solar Open 2 belgesinde, varsayılan Dynamo 1.4.1 vLLM çalışma zamanının modeli desteklemediği ve ayrıca hazırlanmış bir çalışma zamanı imajı gerektiği belirtiliyor. Bu nedenle tarif, çalışma zamanının hazırlanmasına ilişkin koşulları da içeriyor.

Motif-3 tarifi belgede deneysel olarak işaretlendi. Performans tablosundaki ölçümün gerçek spekülatif kod çözme sonuçlarına değil, sentetik token kabul uzunluğuna dayandığı da açıklandı.

A.X K2 belgesindeki dağıtım ön koşulları arasında Dynamo platformunun kurulu olduğu bir Kubernetes kümesi ve paylaşımlı depolama bulunuyor. Ayrıştırılmış yapılandırma için NIXL ve UCX veri aktarımında kullanılacak InfiniBand kaynakları da gerekiyor.

Güney Kore Bilim ve ICT Bakanlığı, dört modeli ülkenin özgün temel yapay zekâ modeli projesine katılan şirketlerin modelleri olarak tanıttı. Nvidia'nın yayımladığı materyal ise bu modellerin Dynamo ile nasıl dağıtılabileceğine ilişkin yapılandırmaları ele alıyor.

Duyuru, model bazında dağıtım tariflerinin yayımlanmasıyla sınırlı kaldı; müşterilerin bunları operasyonlarında ne ölçekte kullandığına ilişkin bir açıklama yapılmadı. Paylaşılan performans değerlerini değerlendirirken her model için kullanılan donanım ve ölçüm koşullarını birlikte göz önünde bulundurmak gerekiyor.

TokenPost daha önce mevcut Kubernetes kümelerine Dynamo dağıtıp doğrulamak için kullanılan AICR sürecini haberleştirmişti. Önceki haber altyapı kurulumunu ve doğrulama akışını ele alırken, bu duyuru dört Güney Koreli yapay zekâ modeline yönelik GPU yerleşimlerini ve çıkarım ayarlarını sunuyor.