NeuroSpark, OCI’de AMD Instinct GPU’larıyla yapay zekâ çıkarımı yapacak

NeuroSpark, Oracle Cloud Infrastructure (OCI) bare metal sunucularında AMD($AMD) Instinct GPU’larını ve ROCm’u çıkarım iş yüklerinde kullanacak. AMD, 23’ünde yaptığı açıklamada dil modelleri, video üretim modelleri ve metinden sese dönüştürme modellerinin uygulama kapsamına girdiğini bildirdi.

AMD, bu yapılandırmayla NeuroSpark’ın müşterilerine sunabileceği hesaplama kapasitesinin arttığını belirtti. Ancak kullanılan GPU modeli ve tedarik edilen birim sayısı açıklanmadı.

AMD’nin açıklamasına göre NeuroSpark, donanım seçimini model boyutuna ve gecikme ile performans gereksinimlerine göre yapıyor. Şirket, bazı gelişmiş modeller için daha düşük maliyetli bir seçeneğin de ortaya çıktığını söyledi.

Duyuruda maliyet karşılaştırmasının hangi seçeneklere ve iş koşullarına dayandığı ya da tasarruf oranı paylaşılmadı. Bağımsız doğrulama verisi de bulunmuyor.

AMD, NeuroSpark’ın kurucusu Thomas Ning’in AMD çiplerinin potansiyelinden yararlanarak performansı ve maliyet verimliliğini artırabileceklerini söylediğini aktardı. Bu, şirket temsilcisinin açıklaması niteliğinde; ölçülmüş performans veya maliyet sonuçları sunmuyor.

AMD, NeuroSpark’ın gerçek iş yükleriyle model bazında çıkarım ve eğitim çerçevelerini kıyasladığını, sonuçlara göre donanım ve yazılımı ayarladığını bildirdi. Bu süreçte ROCm tabanlı çıkarım motoru ATOM ile çekirdek kütüphanesi AITER kullanılıyor. Açık kaynaklı çıkarım motoru SGLang ile entegrasyon çalışmaları da sürüyor.

Uygulanan modeller için işlem hacmi veya yanıt gecikmesi karşılaştırmaları açıklanmadı. Duyurudan doğrulanabilen bilgi, NeuroSpark’ın OCI’de Instinct GPU’larını çıkarım iş yüklerinde kullanacağı.

Oracle($ORCL), müşteri örneğinde NeuroSpark’ın farklı bölgelerde güvenilirlik, performans ve destek gerekçeleriyle OCI işlem hizmetlerini seçtiğini aktardı. Bu materyal OCI kullanımını destekliyor ancak AMD GPU kullanımından söz etmiyor.

AMD ve Oracle, 2024’te OCI’de MI300X örneklerini ve ROCm desteğini duyurmuştu. Oracle’ın teknik belgelerinde sekiz MI300X GPU içeren bir yapılandırma yer alıyor; ancak NeuroSpark’ın kullandığı modelin bu olup olmadığı doğrulanmadı.

AMD daha önce Meta modelleri için GPU çalışma yapılandırmasını açıklayarak belirli bir modelin nasıl çalıştırılacağını göstermişti. Bu duyuruda NeuroSpark’ın OCI’de Instinct GPU’larını çıkarım işlerinde kullanacağı belirtildi. GPU modeli, kullanım ölçeği ve hizmetin başlama tarihi ise açıklanmadı.