Nvidia, AI veri merkezi yazılımı Minerva’yı tanıttı

Nvidia(NVDA), GPU, ağ ve depolama verilerini bir araya getirerek AI veri merkezlerindeki olağandışı durumları tespit etmeyi amaçlayan Minerva adlı operasyon yazılımını tanıttı. Şirket, ilk kurulumlarda kullanılabilir GPU süresinin yüzde 2 arttığını bildirdi.

Nvidia, 26’sında yayımladığı teknik blog yazısında Minerva’nın çalışma biçimini ve kullanım örneklerini anlattı. Ağ yazılımı sayfasında ilk kurulumlara ilişkin ortalama arızalar arası sürenin (MTBI) yüzde 20 arttığı, ortalama onarım süresinin (MTTR) yüzde 63 azaldığı ve alarm gürültüsünün yüzde 99,9’a kadar düşürüldüğü de belirtildi. Bu veriler için örneklem büyüklüğü, karşılaştırma ölçütü ve ölçüm dönemi açıklanmadı.

Nvidia’nın açıklamasına göre Minerva; GPU’lardan, Spectrum-X ve NVLink anahtarlarından, SuperNIC’lerden, DPU’lardan, depolama sistemlerinden, NCCL’den, zamanlayıcılardan ve AI iş yüklerinden ölçüm verileri, günlükler ve topoloji bilgileri topluyor. Bu bilgiler dinamik olarak güncellenen bir bilgi grafiğinde birleştirilerek donanımdaki anormalliklerin ve etkilenen iş yüklerinin izlenmesi sağlanıyor. Şirket, sistemin saatte milyarlarca ölçüm verisi ve günlük kaydını işlediğini belirtti.

Nvidia, dağıtık eğitimde performansın en yavaş GPU veya bağlantı yoluna bağlı olabileceğini, bu nedenle tek bir donanım bileşenindeki yavaşlamanın diğer GPU’ların beklemesine yol açabileceğini açıkladı. Şirkete göre ağ, işlem ve AI iş yüklerinden sorumlu ekiplerin verileri birbirinden ayrı olduğunda sorunun kaynağını bulmak zaman alabiliyor.

Şirket, Minerva’nın yalnızca önceden belirlenmiş eşiklere dayanan yöntemlerle saptanması zor anormallikleri ilgili iş yükleriyle ilişkilendirecek şekilde tasarlandığını söyledi. Nvidia’nın teknik blogunda, yaklaşık 400 bin arayüz bulunan bir veri merkezinde performansı düşen bir NVLink bağlantısının ve bu bağlantıyla ilişkili eğitim iş yükünün tespit edildiği bir örnek paylaşıldı.

Yerleşik AI yardımcısı Sherlock, doğal dilde sorularla küme durumu, anormallikler, olaylar ve topoloji hakkında bilgi edinmek üzere tasarlandı. Nvidia’nın kullanıcı kılavuzunda, Sherlock’un gerçek zamanlı Minerva verilerini kullanarak ilgili soruları yanıtladığı belirtiliyor.

Nvidia’nın paylaştığı başka bir örnekte, bir NVMe depolama aygıtının düşük güç durumundan düzgün biçimde çıkamaması birden fazla eğitim işini geciktirdi. Şirket, sorunlu aygıtı devre dışı bıraktıktan sonra işlerin tamamlanma süresinden yaklaşık 5.530 saat tasarruf edildiğini tahmin etti. Bu rakam Nvidia’nın tek bir örnek için verdiği tahmindir.

Nvidia, Minerva’nın Mission Control’ün mevcut gözlemlenebilirlik özelliklerini tamamladığını belirtti. Mission Control sürüm notlarında Minerva 1.0.0, sınırlı katılımla sunulan bir erken erişim beta bileşeni olarak tanımlanıyor.