Nvidia(NVDA), dağıtık yapay zekâ teşhis aracını GitHub’da yayımladı

Nvidia(NVDA)’nın dağıtık yapay zekâ iş yüklerini teşhis etmeye yönelik NVIDIA Attribution aracı, resmi belgelerde ve herkese açık GitHub deposunda yer alıyor.

Nvidia, ayın 2’sinde yayımladığı teknik blogda ayrı bir ürün olan NVIDIA Recovery’yi tanıttı ve Attribution’ın isteğe bağlı olarak entegre edilebildiğini belirtti. Attribution’ın bileşenleri ve destek kapsamı resmi belgelerde açıklanıyor.

Resmi belgeler Attribution’ı kendi sunucunuzda barındırılan bir REST hizmeti ve bir blueprint olmak üzere iki parçaya ayırıyor. Hizmet, normalleştirilmiş gözlem verilerini alarak her iş yükü için teşhis sonucu döndürüyor.

Blueprint, zamanlayıcı ve telemetri sistemlerinden günlüklerle ölçümleri topluyor, hizmeti çağırıyor ve sonuçları kaydediyor. Teşhis sonuçlarını incelemek için salt okunur bir pano da içeriyor.

Sonuçlarda başarısızlık durumu, ayrıntılı sınıflandırma ve kanıtların desteklemesi hâlinde olası neden, ilgili düğüm ve arızaya yol açan olay zinciri yer alıyor. Sistem, her iş yükü için birden fazla belirtiyi ve olası nedeni birlikte gösteriyor.

Belgelerdeki örnekte, 128 düğümde görülen iletişim belirtileri ile “NCCL invalid NIC selection” hatası “system_software” sınıfı altında birleştiriliyor. Bu örnek, işlevi açıklamak amacıyla verilmiş.

Attribution, önceden toplanmış günlükleri ve ölçümleri karşılaştırarak teşhis yapıyor. Donanımı doğrudan incelemiyor veya teşhis komutları çalıştırmıyor.

Kanıtlar birden fazla olası nedeni destekliyorsa sonuç “ambiguous” olarak işaretleniyor; kanıt yetersizse “unattributed” olarak döndürülüyor. Bu nedenle sonuçlar kesinleşmiş nedenler değil, operatörün incelemesi için sunulan teşhis bilgileri niteliğinde.

Desteklenen zamanlayıcı Slurm 25.11 ve üzeri. JobSet biçimindeki dağıtık eğitim için JobSet v0.5 veya üzerini içeren Kueue v0.6 ya da üzeri gerekiyor.

Desteklenen GPU’lar arasında A100, H100, L40S, B200, GB200 ve GB300 sayılıyor. GB200 ve GB300 için kural kapsamı henüz olgunlaşma aşamasında; NVIDIA KAI Scheduler teşhis özelliği ise uygulanmış değil.

Ayın 3’ünde kontrol edilen GitHub deposu herkese açık ve Attribution kodu için Apache 2.0 lisansı belirtilmiş. Deponun açık olmasıyla Recovery entegrasyonu için gereken derleme ve dağıtım koşullarını ayrı değerlendirmek gerekiyor.

Recovery genel bakış belgesinde, Attribution kaynak kodunun henüz herkese açık biçimde alınamadığı ifadesi yer alıyor. Bu nokta, deponun herkese açık olmasıyla belgelerdeki kaynak erişimi açıklaması arasında uyumsuzluk oluşturuyor.

Recovery’nin Attribution entegrasyon talimatlarında derleme için onaylı kaynak erişimi gerektiği belirtiliyor. Deponun herkese açık olması ile entegrasyon derlemesine erişim aynı koşul anlamına gelmiyor.

Recovery, arıza tespitinden sonra düğümleri karantinaya alan ve kontrol noktalarını kullanarak iş yüklerinin yeniden başlatılmasını koordine eden ayrı bir ürün. TokenPost’un Recovery’nin tespit ve yeniden başlatma özelliklerine ilişkin önceki haberinden ayrılan Attribution, olası nedenleri ve belirtilerin izlediği yolu teşhis ediyor.

Nvidia, resmi belgelerinde RDMA tabanlı GPU kümelerinde teşhis sonuçlarına dayanarak altyapının onarıldığı ve tıkanıklığın düzenlendiği bir örnek paylaştı. Şirkete göre bu örnekte işler arasındaki ortalama kesintisiz süre yaklaşık 3 kat arttı. Ancak ölçüm değerleri ve karşılaştırma yöntemi açıklanmadığı için bu sonuç, yalnızca Attribution’a atfedilebilecek genel bir performans artışı olarak değerlendirilemiyor.