NVIDIA, yapay zekâ eğitimindeki arızaları algılayıp yeniden başlatma aracını yayımladı

NVIDIA (NVDA), dağıtık yapay zekâ eğitimindeki çakışmaları, takılmaları ve işlem hacmi düşüşlerini algılayıp işlerin yeniden başlatılmasını koordine eden açık kaynaklı NVIDIA Recovery hizmetini yayımladı. Araç, operatör ayarları ve işe özel politikalar doğrultusunda yeniden başlatma sürecini yönetmek üzere tasarlandı ve şu anda deneysel aşamada.

NVIDIA'nın resmi DSX belgeleri, Recovery'yi DSX OS'nin “durum yönetimi ve dayanıklılık” bileşeni olarak tanımlıyor. Açık kaynak deposunda ve resmi belgelerde Apache 2.0 lisansı belirtiliyor.

DSX OS belgelerinde yazılım, yapay zekâ fabrikası altyapısını kurmak, işletmek ve ölçeklendirmek için modüler, açık kaynaklı bir yazılım olarak anlatılıyor. NVIDIA, 21 Ekim'deki duyurusunda DSX OS'nin altyapı yaşam döngüsünü otomatikleştirdiğini; durum otomasyonu ve dayanıklılık özelliklerini geliştirdiğini bildirdi.

Dağıtık eğitimde işler birden fazla GPU ve düğüme bölünüyor. Bir süreç başarısız olur ya da iş takılırsa, o işe ayrılan GPU'ların tümündeki eğitim ilerlemesi durabilir.

Zamanlayıcı, sonlandırılan işleri yeniden çalıştırabilir; ancak iş sonlandırılmadan takılı kalırsa ilerleme sinyallerinin izlenmesi gerekir. Recovery bu tür takılmaları algılamak üzere tasarlandı.

Algılama için operatörün belirlediği günlük kayıt örüntüleri ve eğitim ilerleme sinyalleri kullanılıyor. Çökme algılama, PyTorch, NCCL ve CUDA hatalarının yanı sıra GPU bağlantı hatalarına ilişkin izleri arıyor. Takılma algılama ise beklenen ilerleme sinyalinin kesilip kesilmediğini izliyor.

İşlem hacmindeki düşüş de algılanabiliyor; ancak buna dayalı otomatik kurtarma varsayılan ayarda kapalı. Bu ölçüte göre kurtarmanın çalışması için operatörün özelliği ayrıca etkinleştirmesi gerekiyor.

Bir sorun algılandığında Recovery, başarısız denemeleri ve yeniden deneme politikasını kaydediyor. Varsayılan dağıtım, zamanlayıcıyı değiştirmeyen gözlem modunda çalışıyor. Operatör eylem modunu ve zamanlayıcıda iş onayı ayarını etkinleştirirse, iş politikası da yeniden denemeye izin verdiğinde Recovery yeniden başlatma önerisini zamanlayıcı entegrasyonuna iletiyor. Entegrasyon işi başka bir yere yerleştirebiliyor veya yeniden başlatabiliyor ve istenen durumun gerçekleşip gerçekleşmediğini doğruluyor.

Belirli bir düğümün iş dışında bırakılması, NVIDIA Attribution tarafından sağlanan tanılama kanıtı varsa kullanılabiliyor. Yeniden deneme sayısı, işe özel ayarlar ve operatör politikasıyla sınırlandırılıyor.

Şu anda uygulanan zamanlayıcı entegrasyonu Slurm ile sınırlı. NVIDIA'nın yapay zekâ kümeleri için yayımladığı Kubernetes yapılandırma tariflerini TokenPost daha önce haberleştirmişti; ancak Recovery'nin Kubernetes desteği, Slinky aracılığıyla Slurm çalıştırılmasıyla sınırlı. Kubernetes'e özgü işlerin kurtarılması henüz uygulanmadı.

NVIDIA belgelerinde belirtilen GPU kümesi desteği Ampere'den Blackwell'e kadar uzanıyor. Bu destek kapsamı, ürünün zamanlayıcı entegrasyonu kapsamından ayrı olarak belirtiliyor.

Bir işi yeniden başlatmak, eğitim ilerlemesini kendiliğinden geri getirmiyor. Eğitim uygulamasının model durumunu kalıcı depolama alanına kontrol noktası olarak kaydetmesi ve yeniden başlatılan işte bu durumu yüklemesi gerekiyor. Recovery kontrol noktası dosyası oluşturmuyor veya model durumunu kopyalamıyor.

Yeniden denenen işler, Slurm'un kaynak tahsisini bekleyebilir. Bu nedenle eğitimin gerçekten devam etmesini hem kontrol noktasının hazır olması hem de zamanlayıcının kaynak tahsis etmesi etkiliyor.

Varsayılan yapılandırmada NVIDIA Attribution etkin. Bu özelliği kullanmak için sağlayıcı kaynaklarına onaylı erişim gerekiyor. Attribution kapatılsa da politika tabanlı kurtarma çalışabiliyor; ancak özel kök neden tanılaması ve tanılama kanıtına dayalı düğüm dışlama kullanılamıyor.

NVIDIA, Recovery'yi deneysel olarak sınıflandırıyor ve üretim kullanımına hazır olmadığını belirtiyor. Arayüzü ve çalışma biçimi değişebilir; üretim ölçeğinde işletim, kullanılabilirlik veya kurtarma süresi garanti edilmiyor. Kurtarma süresindeki azalmayı ya da gerçek kullanım sonuçlarını gösteren bir veri de paylaşılmadı.